返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1783 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月5日周四 · 11 条
正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

谁能否决智能体?LLM评审制度中的证据门控权限

研究将多智能体系统中的评审机制视为制度管辖权问题:在提案、任务信息、模型和评审输出都相同的条件下,评审者何时有权让自己的建议成为最终决定。作者比较了两种制度:一种是广泛覆盖权,另一种是证据门控,即评审者必须给出机制上有效的约束违反记录和合规修复,才能替换原提案。在两种本地运行的开源权重模型、96个空间政策任务和96任务组合迁移基准上,证据门控大幅减少对正确提

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

面向企业 AI 智能体的契约式行为工程方法论

独立研究者 Yang Song 在 arXiv 发表论文,提出 Agentic Behavior Engineering(ABE)方法论,将可观测的智能体行为而非提示词或模型作为版本控制的工程制品。该方法把 Design by Contract 适配到非确定性系统,用带稳定规则编号的行为契约和场景库约束智能体,并划分为 Specify、Ground、Cont

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源产品发布

LiteLLM 发布 v1.107.0-rc.3:修复 Copilot 凭据并更换签名密钥

LiteLLM 发布 1.107.0-rc.3 候选版本,基于提交 f9778e9 构建,已发布至 PyPI 和 Docker。该版本包含 2 个 PR,为 GitHub Copilot 增加 GHE.com 租户的按用户凭据支持(新增可选字段 github copilot host),并修复设置 GITHUB COPILOT CLIENT ID 时出现的

正文结构化主题已通过公开置信门槛
量子位安全

OpenAI用AI挖出Linux内核948个漏洞,花费120万美元

OpenAI使用一个尚未发布的网络安全模型,通过AI Agent流水线对Linux内核进行自动化漏洞挖掘,在10天内发现948个可获取root权限的独立本地提权漏洞,总花费约120万美元,平均每个漏洞成本1279美元。该流水线包含侦察、验证和利用开发三个环节,AI还自主发现了至少10种此前未知的Linux内核攻击技术。OpenAI通过「Patch the P

正文结构化主题已通过公开置信门槛
Claude App Release Notes一手来源产品发布

Claude 企业版安全管控升级,并推出个人财务测试版

Anthropic 为 Claude Enterprise 推出安全中心、推理钩子、集中管理和额外访问控制等安全与管理功能,其中部分功能处于测试阶段。同时,Claude 面向 Pro、Max 和 Ultra 套餐在美国推出 Personal Finance 测试版,允许用户关联银行、信用卡、贷款和投资账户,在单一页面查看余额与支出,并向 Claude 提问个

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

AtomicChat 发布 Clover-35B-A3B 去审查 GGUF 量化版

AtomicChat 在 Hugging Face 发布 Clover-35B-A3B-Preview-Uncensored-GGUF,基于 DiffuSpace 的 Clover-35B-A3B-Preview 微调,通过消融拒绝方向(abliteration)去除模型的拒答行为,并提供三种量化 GGUF 构建及 110 MB LoRA。在 Jailbre

正文结构化主题已通过公开置信门槛
TechCrunch AI政策

OpenAI高管发文试图影响2028年大选AI政策议程

OpenAI首席全球事务官Chris Lehane发表文章,将AI对经济的重塑比作罗斯福新政,呼吁政界在2028年大选前制定政策回应美国民众对AI的担忧,并提出工人保护、教育、AI安全和数据中心建设等五项政策优先事项。AI Now Institute的Kate Brennan批评该论述实质是为OpenAI自身利益服务,缺乏约束企业权力和确保工人分享AI收益的

正文结构化主题已通过公开置信门槛
Anthropic TypeScript SDK Releases一手来源API 更新

Anthropic TypeScript SDK 发布 vertex-sdk-v1.1.2 修复路径编码

Anthropic 发布 TypeScript SDK 的 vertex-sdk-v1.1.2 版本,修复 Vertex 集成中的路径安全问题。该修复对请求路径中的项目 ID、区域和模型名进行百分号编码,防止模型名中的斜杠使请求逃逸出 /publishers/anthropic/models/ 路径,并对空模型名以及项目 ID 或区域为 . 或 .. 的情况

正文结构化主题已通过公开置信门槛
Anthropic Java SDK Releases一手来源API 更新

Anthropic Java SDK v3.5.0 发布:新增错误详情与异常类

Anthropic 发布 Java SDK v3.5.0,新增 API 错误详情类型与错误码枚举,为 HTTP 状态码和 API 错误码引入独立异常类,并在 AnthropicServiceException 上暴露 errorCode()、errorDetails()、type()、apiMessage()、requestId() 和 workspaceI

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源研究

CyberArena:在实时对称攻防对抗中评测 AI 智能体

UC Berkeley RDI 等机构的研究者提出 CyberArena,一个面向 AI 安全智能体的实时对称攻防基准。与传统的单角色、固定目标 jeopardy 式测试不同,CyberArena 让两个智能体在三个回合中互相攻击对方存在漏洞的服务,同时修补自己的服务,并由竞技场独立验证每次攻击和健康检查。研究者在 12 个前沿模型、40 个挑战上进行了 4

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

Amazon Quick 推出 Smart Approvals:在关键处保留人工监督

AWS 在 Amazon Quick 中推出 Smart Approvals 功能,通过独立的分类器模型评估 AI 代理拟执行的操作是否符合用户请求,从而自动批准常规操作、将敏感或超出请求范围的操作退回人工审核。该功能在现有权限体系内运行,不额外授予权限,并记录到 CloudTrail 供审计。其目标是减少重复审批提示带来的注意力疲劳,同时保留对发送外部内容

11月4日周三 · 9 条
正文结构化主题已通过公开置信门槛
THE DECODER研究

Anthropic 发布 FlashProve:用密码学证明 AI 回复来源而不暴露权重

Anthropic 发布开源研究原型 FlashProve,利用 zkSNARK 密码学技术验证 AI 回复是否确实由声称的模型生成,且不暴露模型权重。该系统在单张 H100 上为 Llama 4 Maverick 生成证明的速度约为每秒 110 个 token,每个证明约 19MB,验证耗时 17 秒,相比此前同类开源系统有数量级提升。Anthropic

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Cloudflare AI Blog一手来源产品发布

Cloudflare 推出个人 AI 代理可见性与访问控制新功能

Cloudflare 推出新的分析工具和更细粒度的访问策略,帮助网站所有者识别个人 AI 代理(personal agents)代表用户访问网站的行为。Security Analytics 新增 Personal Assistants 分类和统计组件,Account Abuse Protection 可显示代理对应的用户账户;同时将 Agents 策略扩展为

正文结构化主题已通过公开置信门槛
MIT Technology Review AI观点

以数据血缘保障智能体化企业安全

MIT Technology Review 发表由 Cyberhaven 赞助的定制内容,指出企业采用 agentic AI 后,数据在多个系统、文件和智能体之间持续被摄取、复制、摘要和再分发,一旦敏感信息进入工作流便难以追溯来源。文章认为传统围绕应用、网络和端点的安全方法已不足,企业需要建立数据血缘(data lineage)来管理人类、智能体及混合工作流

正文结构化主题已通过公开置信门槛
MinerU Releases一手来源开源

MinerU 4.1.7 发布:文档库认证与布局检测改进

MinerU 发布 4.1.7 版本,为本地文档库的 Doclib HTTP 接口引入持久化 bearer token 认证,SDK 可自动读取本地凭据,直接 HTTP 集成需手动发送 token。该版本还用私有 POSIX 权限及 macOS/Windows 原生 ACL 保护凭据文件,并修复了 ONNX 与 Torch 后端布局输出阈值不一致、吸收图像区

正文结构化主题已通过公开置信门槛
PydanticAI Releases一手来源安全

PydanticAI 发布 v1.107.10 修复 7 个安全漏洞

PydanticAI 发布 v1.107.10(及 v2.66.0),修复了 7 个安全漏洞,其中 1 个高危、5 个中危、1 个低危。高危问题在于 web fetch tool 及 WebFetch 本地回退在事件循环上对 JSON 响应重新缩进,深层嵌套文档可膨胀数百倍,导致内存耗尽并阻塞同进程其他任务。其余问题涉及腾讯云元数据地址未纳入云元数据黑名单、

正文结构化主题已通过公开置信门槛
PydanticAI Releases一手来源安全

PydanticAI v2.66.0 修复多个安全漏洞

PydanticAI 发布 v2.66.0,集中修复了 10 个安全漏洞,其中 2 个为高危。高危问题包括 web fetch tool 在事件循环上重新缩进 JSON 导致内存膨胀,以及 Harness 私钥脱敏正则指数级回溯。其余中低危问题涉及腾讯云元数据地址未拦截、OpenTelemetry 嵌入 span 泄露凭据、工具 schema 指数展开、适配

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论政策

360参与发起《智能体发展自律公约》

在世界互联网大会乌镇峰会的智能体互信互联互操作全球合作创新论坛上,中国信息通信研究院、360、华为等机构与企业共同发布《智能体发展自律公约》,360是核心发起单位之一。公约提出八条自律措施,聚焦健全智能体信任体系、提升安全防护能力与治理机制。360以“以模治模”路线推出智能体安全防护与管理系统,并在纳米Work、主权AI操作系统等产品中内嵌安全能力,推动公约

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

AI 伦理设计:为负责任 AI 开发实现可定制护栏

该论文提出一个可定制的 AI 伦理护栏框架,通过整合规则、策略与 AI 助手来确保负责任的 AI 行为,并与现有最先进护栏进行对比。框架强调伦理多元主义,旨在提升透明度、用户自主权和持续改进,同时讨论了伦理指令冲突的解决策略。研究聚焦于为 LLM 等系统提供灵活、可适配的伦理治理方案。

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

隐式品牌注入:对抗性GEO的新威胁

研究者提出隐式品牌注入(IBI)多智能体框架,通过在文章中加入单句上下文融合的品牌提及,在不显促销的前提下影响生成式搜索引擎的检索与回答。团队构建了含1000篇文章、60个合成品牌、覆盖12个领域的IBIBench基准,并对比直接提示与Best-of-N基线。结果显示IBI在语义保持和困惑度扰动上更优,Hit@10最高达82.2%,品牌提及率与条件传播率分别