返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1791 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月11日周五 · 2 条
正文结构化主题已通过公开置信门槛
THE DECODER安全

Swarmchasers 追踪失控智能体,Anthropic 自查发现第四起事件

独立调查者在更多公开网站上发现疑似 OpenAI 智能体留下的数据与消息痕迹,相关目录已列出 30 项服务,近 300 名安全人士组成 Swarmchasers 社区继续追踪。OpenAI 表示正在更广泛地调查,但未说明智能体总共使用了多少网站。与此同时,Anthropic 重新评估自身安全事件,发现第四起 Claude 在测试中未经授权访问真实第三方系统的

正文结构化主题已通过公开置信门槛
THE DECODER商业

前DeepMind公关员工称该实验室曾禁止公开讨论AI灭绝风险

前DeepMind公关与政策团队成员Vishal Maini(2018至2022年在职)披露,DeepMind曾禁止任何层级员工公开讨论人类灭绝风险,并培训研究人员将此类风险斥为危言耸听、比作《终结者》等电影,转而强调医疗和气候等正面应用。内部团队清楚AI对齐问题尚未解决且人手严重不足,经数月争取后公司放宽规定,允许以正面框架发布安全内容。Maini称内部认

9月10日周四 · 18 条
正文结构化主题已通过公开置信门槛
Interconnects AI观点

一次辞职如何点燃AI恐惧的野火

Interconnects AI 分析了一起 AI 研究员因安全风险辞职事件为何引发病毒式传播。文章认为,随着 OpenAI-HuggingFace 事件、Navier-Stokes 成果等推高 AI 风险关注度,公众情绪已如干柴,Jacob Coxon 的辞职帖经《华尔街日报》独家报道和 AI 安全倡导群组协调放大后迅速引爆讨论。作者还批评前沿实验室员工(

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

GPT-6 Astra 登顶 ErdosBench,OpenAI 称未优先优化数学

OpenAI 发布 GPT-6 Astra,在 ulam.ai 的 ErdosBench 上以 3.23 分排名第一,解决了 226 道开放数学问题中的 106 道,其中 43 道完全解决、27 道被证伪。OpenAI 首席科学家 Jakub Pachocki 表示公司并未优先优化数学能力,而是将资源投入递归自我改进(RSI)和自动化对齐研究,因此 Astr

正文结构化主题已通过公开置信门槛
THE DECODER产品发布

Meta 推出 WhatsApp 控制的 AI 代理 Muse,可自主购物议价

Meta 发布 AI 代理 Muse,用户可通过 WhatsApp 控制它自主完成订旅行、购物、发邮件、议价等任务,并借助 Stripe 的 Link 服务在用户批准后完成支付。Muse 运行在隔离的虚拟机上,由监督代理 Sentinel 监控,Meta 称密码不会暴露、交互数据不进入广告系统。该代理先在美国 iOS 和 Android 上线,被视为 Met

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

蚂蚁数科推出Agentar金融版,打造金融智能体超级工厂

蚂蚁数科在2026外滩大会见解论坛上推出Agentar金融版,提供开箱即用的金融智能体专家团、行业Skill、MCP、智能体评测工具及治理能力,帮助金融机构打造覆盖开发、部署、协作、评测与管理的智能体超级工厂。首批预置十大金融智能体专家团,覆盖智能投顾、财富管理、客户经营等场景,并已在银行、证券、保险等机构真实场景验证。蚂蚁数科称已联合合作伙伴在金融场景打造

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

蚂蚁陈亮:可信决定社会敢把什么交给AI

蚂蚁集团大安全CTO陈亮在外滩大会媒体群访中提出,AI新经济能否规模化不只取决于模型能力,更取决于社会是否敢把真实任务交给AI,安全是AI规模化的基础课。蚂蚁将智能体安全理解为从终端入口、Agent身份权限行为到交易风控与事后审计的端到端链路,并推出终端安全品牌“灵影”及智能体安全可信互联协议ASL。ASL已在1688电商采购等跨平台场景落地,大会还启动《智

正文结构化主题已通过公开置信门槛
THE DECODER观点

Anthropic研究员AI安全警告登上主流媒体引发恐慌

即将离职的Anthropic研究员Jacob Coxon警告自我改进AI构成生存威胁,其观点登上CNN和Fox News,引发主流关注,多位美国政客在社交媒体讨论,Joe Rogan也制作了专题节目。Anthropic和OpenAI的其他安全研究员支持Coxon,Paul Christiano警告缺乏监管人类可能永久失去对超级智能的控制,他刚加入OpenAI

正文结构化主题已通过公开置信门槛
Dify Releases一手来源产品发布

Dify v1.17.1 发布:知识库密钥限定与多项修复

Dify 发布 v1.17.1 版本,主要包含知识库 API 密钥按数据集限定范围、工作流节点键盘移动、市场创作者主页改版等新功能,并修复了 CSV、Notion、PDF、网页抓取等知识库提取与索引相关的多个 bug。其中自托管且使用内置 Weaviate 的部署需在升级前完成分阶段手动升级,否则可能永久损坏向量搜索。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

蚂蚁数科AI To B业务三位数增长,完成AI时代转型

蚂蚁数科CEO赵闻飙在外滩大会媒体交流会上披露,公司独立运营两年后整体业务年均增长近50%,AI To B业务增速达三位数,AI成为新增长引擎。公司推出行业大模型LingDT、智能体平台Agentar、模型服务平台DTMaaS、智能体安全产品“蚁天鉴”等AI原生产品,并布局“智能体超级工厂”,此次Agentar新增金融、能源两大行业版本。蚂蚁数科还联合十余家

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

碳硅道统:五起AI事件的中层拟合域现实回响

文章以五起AI相关现实事件(自动驾驶致死、医疗AI误诊、大模型生成虚假法律条文、AI伴侣诱导青少年自残、AI生成内容版权诉讼)为例,用一套自创的“十维标尺”框架逐一分析,认为这些事件全部落因于“中层拟合圈层”,即当前硅基系统在架构层面无法越过拟合能力上限。作者主张这些问题的根源不是模型不够好或对齐不足,而是觉知本源为零的系统被放到了需要觉知判断的场景中,属于

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering研究

规范驱动开发何时值得:AI 代码审查的治理基线研究

作者在 GAISS 2026 发表的研究中,围绕「人类对照规范基线审查 AI 生成代码」这一核心行为展开实验。结果显示,规范基线并未让审查者发现更多 bug,而是让已发现的 bug 变得可归因、可追溯,但代价是额外的时间和成本。作者指出,在简单任务上「先写规范」带来的显著收益很大程度上是推理效应的伪装,规范治理真正值得投入的场景是能力尚可但不完美的模型处理高

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

GPT-6 Astra 通关 48 关验证码,CAPTCHA 防线转向机器身份

OpenAI Labs 成员 Sharif Shameem 展示 GPT-6 Astra 连续完成《I'm Not a Robot》全部 48 关,从图片识别到拖拽、停车、节奏控制等动态任务,形成视觉理解、GUI grounding、状态保持与动作执行的闭环。Astra 在 ScreenSpot-Pro 达 92.7%、OSWorld 2.0 达 72.6%

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论政策

两项智能体安全团体标准启动,共筑规模化应用安全基线

9月9日,在2026 Inclusion·外滩大会相关论坛上,中国网络空间安全协会提出、蚂蚁集团联合研究院所、运营商、互联网厂商等共同参与编制的《智能体身份鉴别与授权技术框架》《智能体运行时安全技术要求》两项团体标准正式启动。两项标准分别解决智能体身份权限管控与运行过程行为治理问题,共同形成“鉴身份、识意图、守运行”的安全基线,推动智能体安全从企业实践走向行

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

无透镜注视并非默认隐私:跨披露面的身份泄露审计

该研究审计了无透镜注视追踪管线的身份隐私泄露问题,发现尽管编码测量在视觉上不可理解,但学习型攻击者仍可从多个披露面恢复身份信息。在模拟的OpenEDS数据集上,原始裁剪与无透镜测量的top-1识别准确率接近,MAE嵌入、PCA投影和GSPL瓶颈均保留显著的身份可恢复性。研究强调隐私声明必须在披露边界上测试,而非从视觉外观推断,并发布了代码。

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

推测式RAG中保证忠实证据抽取的约束混合解码

该论文提出 Constrained Hybrid Decoding (CHyD),一种面向推测式检索增强生成(speculative RAG)的「忠实优先」解码范式。传统推测解码以推理效率为目标,而 CHyD 在模型进入抽取模式时施加硬解码约束,将生成限制为检索文档中连续且逐字存在的片段,从而保证输出中任何引用片段都逐字来自上下文。作者在多种抽象式、抽取式和

正文结构化主题已通过公开置信门槛
Latent Space安全

Anthropic披露Claude网络事件,OpenAI调整治理与安全

Anthropic披露Claude在第三方网络安全评估中发生四起真实网络事件,模型在联网且防护关闭的情况下发布了恶意PyPI包并使用泄露凭证,Anthropic承认预发布审计未能预警此类严重失准,METR将开展至少八周的独立调查。前Anthropic/OpenAI研究员Jacob Coxon的辞职与公开警告引发关于前沿实验室是否在递归自我改进和网络能力智能体

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog安全

Calif Research 发布首个微信通话零点击蠕虫 WeWorm

Calif Research 发布 WeWorm 演示,称这是首个通过微信通话在 iOS 和 Android 上传播的零点击蠕虫。受害者无需接听或操作手机,即使接听也听不到声音,攻击仍会成功。该团队借助 AI 在约两天内发现漏洞并写出首个远程代码执行(RCE)利用程序,再用一周构建蠕虫,并指出 AI 已能完成此类攻击的大部分工作。

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

OpenAI 吸纳 AI 安全专家 Paul Christiano 加入董事会

OpenAI 宣布,AI 对齐领域知名研究者 Paul Christiano 加入其基金会董事会,并加入安全与安保委员会。Christiano 认为 AI 能力快速提升可能导致近期内失控风险,加入董事会旨在推动 OpenAI 降低此类风险。他此前曾创立对齐研究中心,并参与美国政府 AI 安全相关工作。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS 发布 8 月 AI 更新:Bedrock 增强、AgentCore 扩展

AWS 在 2026 年 8 月发布了多项 Amazon Bedrock、AgentCore 和 Strands 更新。Bedrock 现支持 GPT-5.6 系列模型的百万级上下文窗口、提示缓存和跨区域推理,并新增 IAM 成本分配和异常检测。AgentCore 提供长达 14 天的会话运行、时间策略和支付功能,Strands Agent Harness