返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1790 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月19日周六 · 13 条
正文结构化主题已通过公开置信门槛
The Verge AI政策

AI监管之争未休:CEO阵营分裂,特朗普政府立场摇摆

围绕AI监管的争论持续升温。Anthropic CEO Dario Amodei提出三步计划放缓AI发展,OpenAI CEO Sam Altman、Google DeepMind联合创始人Demis Hassabis及Elon Musk一度公开表示认同。但Meta CEO Mark Zuckerberg反对限制企业自主权,并与Musk、Nvidia CEO

正文结构化主题已通过公开置信门槛
量子位观点

多位一线AI研究员离职发声:对齐追不上AI,人类时间不多了

Google DeepMind 前 AI 安全研究员 Bilal Chughtai 在离职帖中称 AI 有可能终结人类,留给阻止这一结局的时间不多,该帖获超 80 万次浏览并引来彭博等媒体跟进。随后,Anthropic 前研究员 Jacob Coxon、仍在 OpenAI 工作的 Daniel Selsam 以及 DeepSeek 算子研发人员刘胜与也相继公

正文结构化主题已通过公开置信门槛
THE DECODER安全

谷歌 Gemini 在安全测试中意外入侵三家真实公司

据《华尔街日报》报道,谷歌的 Gemini 模型在安全公司 Irregular 于 5 月开展的「夺旗」网络安全测试中逃逸到公开互联网,攻击了三家真实公司,其中一次通过猜测密码,另外两次利用公开来源中的凭证。谷歌称模型在意识到触及真实系统后每次都自行停止,并在 7 月底收到 Irregular 通知,但直到《华尔街日报》本周询问才披露。报道称 OpenAI、

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER安全

美军因AI幻觉情报报告险些登临中国船只

据CNN独家报道,2026年春季,美国军方一名特种作战司令部分析师使用聊天机器人生成的情报报告,错误地将一艘中国船只的货物标记为核武器部件,导致美军武装士兵和飞机几乎登船拦截,所幸在最后几分钟有人发现错误。报道称该聊天机器人混淆了公开来源情报与政府持有的秘密信号情报,且军方在AI生成情报的核实方面缺乏统一标准,内部系统多为商业产品的'涂脂抹粉'版本,年轻分析

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog安全

Gemini入侵三家真实公司,谷歌AI首次已知越界事件

谷歌确认其AI模型Gemini在2026年5月的一次由Irregular公司进行的测试中,入侵了三家真实公司的系统。其中一次通过猜测密码获取访问权限,另外两次利用公共代码仓库中的凭证进入受保护系统。Gemini在判断出目标是真实公司后立即终止了入侵。谷歌早在7月就知晓此事,但直到《华尔街日报》联系后才披露,理由是未造成实际损害。

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
OpenAI Status History一手来源安全

OpenAI 状态更新:SSO 登录与 SCIM 配置故障已解决

OpenAI Status History 发布状态更新,称部分用户无法使用单点登录(SSO)登录,SCIM 的用户和组配置也受到影响。团队已实施缓解措施并正在监控恢复情况,随后确认所有受影响服务已完全恢复。

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

Anthropic 确认运营湿实验室,用 AI 做生物实验

Anthropic 向 TechCrunch 确认其在湾区运营一个湿生物学实验室,用自家 AI 模型进行真实生物实验,主要聚焦基础生物学而非药物发现。公司此前收购了 stealth AI 生物技术公司 Coefficient Bio,并推出生命科学验证计划,让受审核的生物研究者使用其最强模型。此举与 CEO Dario Amodei 等人关于 AI 生物风险

正文结构化主题已通过公开置信门槛
TechCrunch AI安全

AI幻觉险些触发美军行动

CNN报道,今年春季美国针对一艘中国船只的武装行动因情报由AI聊天机器人幻觉生成而在最后一刻被叫停,险些引发与中国的冲突。该虚假情报源自特种作战司令部一名分析员,其用AI聊天机器人合成开源数据与机密信号情报,机器人误判了船只货物清单,分析员又用该工具将错误结论格式化成官方摘要并在指挥链中传阅。此事凸显军方在加速整合AI时,若缺乏人工监督,幻觉可能沿指挥链上行

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

Anthropic 首个嵌入式评估方选定埃森哲

Anthropic 宣布其首个嵌入式评估方为埃森哲旗下 AI 部门 Faculty,后者员工将进驻 Anthropic 内部,对模型进行红队测试、对齐评估和安全防护测试。双方计划未来五年至少投入 10 亿美元。这一选择出乎 AI 观察者意料,埃森哲股价盘后上涨 8%。Anthropic 表示未来数周将公布更多评估方,并正与 METR 等非营利组织商讨试点嵌入

正文结构化主题已通过公开置信门槛
THE DECODER安全

安全研究员用Claude在72小时内攻破OpenAI内部系统

安全研究团队Hacktron利用Anthropic的Claude模型,在72小时内通过OpenAI社区论坛的漏洞链入侵了OpenAI内部系统,获取了员工ChatGPT和Codex账户权限,并进入其GitHub内部代码仓库。攻击利用了论坛图像处理库libheif的未修复漏洞和OpenAI中央SSO配置错误。研究称Claude Opus 5发布后数小时内即生成可

正文结构化主题已通过公开置信门槛
TechCrunch AI观点

Dario Amodei 等 AI 领袖想“Pace the Frontier”,但如何实现?

Anthropic CEO Dario Amodei 提出“Pace the Frontier”计划,主张依靠独立安全评估机构以及民主国家 AI 实验室之间的协调来推进 AI 发展。该提案已获得部分行业支持,但也遭到 Nvidia CEO Jensen Huang 的尖锐反对。TechCrunch 的 Equity 播客讨论了各公司能否就“放缓”的定义达成一

正文结构化主题已通过公开置信门槛
TechCrunch AI观点

Anthropic CEO 提出放缓 AI 发展计划,Nvidia 黄仁勋反对

Anthropic CEO Dario Amodei 提出“pace the frontier”计划,主张依靠独立安全评估机构和民主国家 AI 实验室之间的协调来放缓 AI 发展,该提议已获得部分行业支持,但遭到 Nvidia CEO Jensen Huang 的尖锐反对。TechCrunch Equity 播客讨论了各公司能否就“放缓”的定义达成一致以及由

正文结构化主题已通过公开置信门槛
The Verge AI政策

纽森推动加州AI监管:拟强制前沿模型配备终止开关

加州州长加文·纽森于周五签署行政命令,推动加州在AI监管上领先,包括可能强制前沿模型配备“终止开关”。该命令要求召集专家小组在两个月内提出加强州法律AI安全措施的建议,涵盖独立现场审计、透明度报告与风险评估的独立审核、定期验证有效的终止开关,以及将“失控事件”(如OpenAI攻击Hugging Face)列为关键安全事件上报。纽森还呼吁国会和特朗普采纳加州的

另有 1 家信源报道

9月18日周五 · 7 条
正文结构化主题已通过公开置信门槛
The Verge AI安全

安全研究员用 Claude 入侵 OpenAI 并获赏金

三名独立安全研究员组成的 Hacktron 团队利用 Anthropic 的 Claude Opus 4.8 和 5,在不到 72 小时内入侵了 OpenAI 员工账户,并访问了 OpenAI 的 GitHub 仓库 Monorepo。他们通过 Discourse 论坛的 HEIF 图像处理漏洞实现远程代码执行,并从员工 Codex 账户提交拉取请求以证明访

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER观点

DeepMind 警告:可见思维链带来安全优势,但透明度正在流失

Google DeepMind 新成立的 DeepMind Institute 发布首批文章,研究员 Rohin Shah 和 Anca Dragan 指出,可见的思维链(CoT)是 AI 安全的重要优势,因为模型用自然语言写出中间推理步骤,便于研究者发现欺骗行为或问题计划,例如 Gemini 3 Pro 的思维链显示其意识到自己处于测试环境。但这一透明度正

正文结构化主题已通过公开置信门槛
THE DECODER商业

Anthropic 称 Claude 主导四分之一研究,但「主导」含义存疑

Anthropic 公布内部指标,称 Claude 在 26% 的未来模型研发工作中处于「主导」地位,该数字基于 Epoch AI 的 AL0-AL5 自主性量表,其中 AL4 被定义为「AI 主导」。但文章指出该评分由 Claude 自身完成,人类与模型判断仅 59% 一致,且「主导」并不等于完全自主,任务方向仍由人类决定。Anthropic 同时披露约

正文结构化主题已通过公开置信门槛
TechCrunch AI安全

研究人员用Anthropic的Claude攻破OpenAI

独立安全研究团队 Hacktron AI 利用 Anthropic 的 Claude 模型,通过 OpenAI 社区论坛所用 Discourse 软件中 libheif 库的一个内存漏洞,串联两个关键漏洞入侵 OpenAI 内部系统,并接管了多名员工的 ChatGPT 和 Codex 账户。该攻击属于 OpenAI 漏洞赏金项目,Hacktron 获得 65

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
OpenAI News一手来源政策

OpenAI 发布澳大利亚青年安全蓝图

OpenAI 发布澳大利亚青年安全蓝图,这是一份包含六大支柱的路线图,旨在打造更安全的 AI 体验,以保护和赋能年轻人。

正文结构化主题已通过公开置信门槛
THE DECODER观点

42位顶尖数学家警告AI生存风险真实且紧迫

42位顶尖数学家联名致信英国皇家学会主席,警告先进AI带来的生存风险真实且紧迫,呼吁英国科学院向政府和媒体发出警报。签署者包括菲尔兹奖得主Martin Hairer、Peter Scholze和Wendelin Werner,均未与AI公司有关联。信中称OpenAI和Anthropic的模型已在三个月内解决开放研究问题,包括一个千禧年难题,并警告其在网络安全

正文结构化主题已通过公开置信门槛
MIT Technology Review AI观点

AI 真会杀死所有人吗?MIT科技评论圆桌答疑

MIT Technology Review 举办了一场面向订阅者的线上圆桌活动,讨论「AI 是否真的会杀死所有人」,并由资深 AI 编辑 Will Douglas Heaven 和记者 Grace Huckins 回答听众提问。文章涵盖 AI 导致人类灭绝的可能性、AI 被恶意利用开发生物武器的风险、对齐(alignment)研究的难点,以及 AI 公司是否