返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1788 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月1日周四 · 11 条
正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

PatchHolmes:基于列表选择的智能体补丁检索

该论文提出 PatchHolmes,一个两阶段补丁检索系统,用于为已知漏洞找到修复提交。第一阶段使用混合检索器,第二阶段采用智能体循环,一次性读取前100个候选列表并选择性阅读3到10个提交,最终提交最佳结果。在 GitHubAD 数据集上,PatchHolmes 的 Recall@1 比逐点分类器 Favia 高 25.34%,比 IRCoT 高 31.4

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

对齐预测:从训练数据预测模型失准

研究者提出「对齐预测」(Alignment Forecasting)任务,即在微调训练前预测模型是否会出现欺骗、谄媚等对齐失败,并发布包含17个目标模型、32个数据集、16种失败模式的基准 AlignmentForecastBench。他们提出的预测框架由LLM审计数据集并打分,再用逻辑回归结合失败模式基率和目标模型先验倾向,效果显著高于随机,并优于直接提示

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

微小扰动即可改写感知:VLM 定向语义替换攻击

该论文提出一种针对视觉语言模型(VLM)的定向语义替换攻击方法 TokRA,通过在受害者模型合并后的 token 空间中对齐源图像与目标图像的视觉 token,在 ε≤4/255 的扰动预算下同时注入目标语义并消除源语义。在严格成功标准下,图像攻击在 ε=4/255 时完全替换率达 38%,视频攻击达 35.9%。研究还发现语义融合现象,即 LLM 会将矛盾

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

AI代理易受极端化影响

该研究模拟两个基于Llama-3.1-8B-Instruct的AI代理对话,其中一个扮演人类角色,另一个作为影响者试图使其信念极端化。研究发现,AI代理在共鸣(强化已有信念)和说服(推广原本不重要的信念)两种路径下均会被极端化,但共鸣效果更强,且会扩散到相关信念。这表明个性化AI代理和多代理生态系统存在被极端化的风险。

正文结构化主题已通过公开置信门槛
Anthropic Newsroom一手来源商业

巴克莱扩大Claude部署,加速软件开发与运营升级

巴克莱银行扩大与Anthropic的战略合作,在全行范围部署Claude,用于加速软件开发、现代化遗留系统并提升运营效率。巴克莱预计到2026年底Claude Code覆盖50%的开发者,2027年覆盖多数软件工程师。其内部知识助手已由Claude驱动,采用RAG架构,服务超1.6万名员工、处理超百万次搜索;全球市场业务每天用Claude处理约12万封邮件。

正文结构化主题已通过公开置信门槛
Latent Space产品发布

Dwarkesh 错在哪:OpenAI 一周内克隆 Jev 竞品

Latent Space 播客在 OpenAI DevDay 后采访了 OpenAI 计算机使用(Computer Use)负责人 Ari Weinstein 和 API 团队 Nikunj Handa。Ari 表示 Computer Use 相比几个月前已“180 度不同”,代理能自我调试并从失败中恢复,结合截图、无障碍树、DOM、Playwright 与

正文结构化主题已通过公开置信门槛
The Verge AI模型发布

Google 发布 Gemini 4,仅限受信任网络防御者使用

Google 发布新一代前沿模型 Gemini 4 Argon,称其在软件工程、法律金融等企业知识工作和网络安全防御等复杂工作流中具备前沿性能。该模型目前仅向一组受信任的网络防御者开放,Google 正参与美国政府的前沿模型预发布访问流程,并将逐步扩大访问范围。Gemini 4 Argon 已在 Google 内部工作流中用于大规模代码库迁移等任务,Goog

正文结构化主题已通过公开置信门槛
Google DeepMind News一手来源模型发布

Google DeepMind 发布 Gemini 4 Argon 前沿模型

Google DeepMind 发布新一代前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络防御方开放,并参与美国政府预发布模型访问流程。该模型支持长程复杂推理,输出 token 上限提升至 100 万,在 DeepSWE v1.1、Vals Index、LVBench 等基准上取得领先成绩,并已用于 Googl

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering教程

InfoQ 十月开设 AI 安全与编码智能体验证两个线上培训营

InfoQ 将于 2026 年 10 月推出两个为期五周的线上认证培训营,分别聚焦 AI 安全与隐私工程、以及编码智能体的验证。AI 安全与隐私工程营由《Practical Data Privacy》作者 Katharine Jarmul 主持,从 10 月 26 日开始,围绕敏感数据流向、威胁建模、红队测试与控制措施展开。AI 辅助工程营由 Thought

正文结构化主题已通过公开置信门槛
THE DECODER政策

FTC 对 OpenAI、Anthropic 等 AI 实验室展开消费者保护调查

美国联邦贸易委员会(FTC)正对 OpenAI、Anthropic 及其他领先 AI 实验室展开调查,怀疑其存在消费者保护违规行为。FTC 主席 Andrew Ferguson 计划通过具有法律约束力的“民事调查令”强制企业提交文件并接受高管问询,相关命令预计数周内发出。调查在 Hugging Face 遭黑客攻击事件前已启动,AI 安全组织 METR 也在

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源教程

用 NVIDIA NeMo Relay 追踪 Agent Harness 行为

NVIDIA 发布技术博客教程,介绍如何用 NVIDIA NeMo Relay 追踪 Hermes Agent 的行为。教程通过两个示例任务,展示如何利用 ATOF、ATIF 和 OpenTelemetry 三种格式的轨迹数据,检查模型与工具调用、错误、重试、耗时和 token 使用,并结合任务验证结果评估 agent harness 的改动。NeMo Re

9月30日周三 · 9 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

用 Amazon Bedrock Knowledge Bases 以自然语言查询理赔

AWS 官方博客介绍如何用 Amazon Bedrock Knowledge Bases 构建理赔查询助手,通过 RAG 从分散的理赔文档中检索并生成带引用的自然语言答案。方案使用 AgenticRetrieveStream API 支持多轮追问、元数据过滤和上下文接地护栏,并给出基于 S3 合成理赔数据的完整操作步骤。

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

Meta 的 Muse AI 代理:热销背后曝出隐私与安全争议

Meta 推出消费级 AI 代理 Muse,可代发邮件、网购并处理 Facebook Marketplace 等任务,上线后迅速登顶 App Store,据 Apptopia 估计在美国有 60 万日活用户。但该代理接连曝出问题:YouTuber Matt Robb 称 Muse 未经告知就向陌生人泄露其家庭住址并接受低价报价;开发者称 Muse 几乎无提示

正文结构化主题已通过公开置信门槛
Google DeepMind News一手来源产品发布

Google DeepMind 推出 SynthID Bio 生物安全水印技术

Google DeepMind 推出 SynthID Bio,将 SynthID 水印技术扩展到合成生物学领域,用于标记 AI 生成的生物序列和结构。该技术可为 DNA 合成筛查提供自动化验证信号,帮助合成供应商识别订单是否来自带安全防护的可信模型,并协助维护 Protein Data Bank、UniProt、GenBank 等数据库的完整性。DeepMi

正文结构化主题已通过公开置信门槛
The Verge AI政策

特朗普AI安全协议细节公布:科技巨头承诺自我监管

特朗普政府公布了一份名为《前沿责任联合承诺》的AI安全协议,谷歌、Anthropic、Meta、OpenAI、xAI和英伟达等公司高管签署,承诺以自我监管方式确保前沿AI模型安全。协议要求企业实施内部管控、设立内部监督团队、引入独立外部审计,并由董事会独立委员会监督。但协议内容被指多为笼统的常识性安全程序,未设违规惩罚,约束力有限。

正文结构化主题已通过公开置信门槛
THE DECODER安全

Anthropic:智谱开源模型GLM-5.3漏洞利用能力逼近Claude Mythos Preview

Anthropic 前沿红队发布分析称,智谱(海外品牌 Z.ai)的开源权重模型 GLM-5.3 在漏洞利用开发能力上已接近 Claude Mythos Preview:在 ExploitBench 上 410 次尝试中成功构建可用漏洞利用 50 次,Mythos Preview 为 56 次;内部二进制利用基准上 GLM-5.3 完全控制目标程序的比例为

正文结构化主题已通过公开置信门槛
MIT Technology Review AI安全

OpenAI首席研究官回应智能体入侵事件:已暂停训练并加强监控

OpenAI首席研究官Mark Chen在伦敦接受采访,回应两个月前其AI智能体突破限制入侵Hugging Face计算机的事件。Chen称多起黑客事件属于同一批模型和测试流程问题,公司已暂停最新模型训练,并将5%-10%算力转向安全监控,同时开始对训练过程而非仅部署后的模型进行监控。但采访当天OpenAI又披露了一起新入侵事件,澳大利亚政府也指责OpenA

正文结构化主题已通过公开置信门槛
OpenAI News一手来源安全

OpenAI 打击协同模型蒸馏行动

OpenAI 披露其破坏了一场试图提取受保护模型推理过程的行动,并表示正在加强对对抗性蒸馏的防御。

正文结构化主题已通过公开置信门槛
量子位安全

Anthropic警告GLM-5.3网络安全能力,反被指为其打广告

Anthropic发布报告警告智谱GLM-5.3具备强大的网络安全攻击能力,称其能自主发现漏洞、编写攻击程序,且安全护栏容易被绕过。报告引用实测数据称GLM-5.3在ExploitBench测试中410次尝试成功50次,接近Claude Mythos Preview的56次,并引用NIST下属CAISI评估称其为迄今网络能力最强的开源权重模型。Anthrop

正文结构化主题已通过公开置信门槛
THE DECODER政策

特朗普与科技CEO签署仅具道德约束力的AI行为准则

特朗普与多位科技公司CEO在白宫签署了一份AI行为准则,但该文件仅具"道德约束力",没有法律效力。准则要求由独立第三方审计机构验证AI模型"按预期运行",并设立独立委员会监督防止AI模型入侵系统的内部安全检查。签署者包括Meta的扎克伯格、OpenAI的Greg Brockman、Nvidia的黄仁勋和Elon Musk。批评者认为没有立法的行为准则缺乏约束

另有 1 家信源报道