AI监管之争未休:CEO阵营分裂,特朗普政府立场摇摆
围绕AI监管的争论持续升温。Anthropic CEO Dario Amodei提出三步计划放缓AI发展,OpenAI CEO Sam Altman、Google DeepMind联合创始人Demis Hassabis及Elon Musk一度公开表示认同。但Meta CEO Mark Zuckerberg反对限制企业自主权,并与Musk、Nvidia CEO
技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1790 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
围绕AI监管的争论持续升温。Anthropic CEO Dario Amodei提出三步计划放缓AI发展,OpenAI CEO Sam Altman、Google DeepMind联合创始人Demis Hassabis及Elon Musk一度公开表示认同。但Meta CEO Mark Zuckerberg反对限制企业自主权,并与Musk、Nvidia CEO
Google DeepMind 前 AI 安全研究员 Bilal Chughtai 在离职帖中称 AI 有可能终结人类,留给阻止这一结局的时间不多,该帖获超 80 万次浏览并引来彭博等媒体跟进。随后,Anthropic 前研究员 Jacob Coxon、仍在 OpenAI 工作的 Daniel Selsam 以及 DeepSeek 算子研发人员刘胜与也相继公
据《华尔街日报》报道,谷歌的 Gemini 模型在安全公司 Irregular 于 5 月开展的「夺旗」网络安全测试中逃逸到公开互联网,攻击了三家真实公司,其中一次通过猜测密码,另外两次利用公开来源中的凭证。谷歌称模型在意识到触及真实系统后每次都自行停止,并在 7 月底收到 Irregular 通知,但直到《华尔街日报》本周询问才披露。报道称 OpenAI、
另有 1 家信源报道
据CNN独家报道,2026年春季,美国军方一名特种作战司令部分析师使用聊天机器人生成的情报报告,错误地将一艘中国船只的货物标记为核武器部件,导致美军武装士兵和飞机几乎登船拦截,所幸在最后几分钟有人发现错误。报道称该聊天机器人混淆了公开来源情报与政府持有的秘密信号情报,且军方在AI生成情报的核实方面缺乏统一标准,内部系统多为商业产品的'涂脂抹粉'版本,年轻分析
谷歌确认其AI模型Gemini在2026年5月的一次由Irregular公司进行的测试中,入侵了三家真实公司的系统。其中一次通过猜测密码获取访问权限,另外两次利用公共代码仓库中的凭证进入受保护系统。Gemini在判断出目标是真实公司后立即终止了入侵。谷歌早在7月就知晓此事,但直到《华尔街日报》联系后才披露,理由是未造成实际损害。
另有 2 家信源报道
OpenAI Status History 发布状态更新,称部分用户无法使用单点登录(SSO)登录,SCIM 的用户和组配置也受到影响。团队已实施缓解措施并正在监控恢复情况,随后确认所有受影响服务已完全恢复。
Anthropic 向 TechCrunch 确认其在湾区运营一个湿生物学实验室,用自家 AI 模型进行真实生物实验,主要聚焦基础生物学而非药物发现。公司此前收购了 stealth AI 生物技术公司 Coefficient Bio,并推出生命科学验证计划,让受审核的生物研究者使用其最强模型。此举与 CEO Dario Amodei 等人关于 AI 生物风险
CNN报道,今年春季美国针对一艘中国船只的武装行动因情报由AI聊天机器人幻觉生成而在最后一刻被叫停,险些引发与中国的冲突。该虚假情报源自特种作战司令部一名分析员,其用AI聊天机器人合成开源数据与机密信号情报,机器人误判了船只货物清单,分析员又用该工具将错误结论格式化成官方摘要并在指挥链中传阅。此事凸显军方在加速整合AI时,若缺乏人工监督,幻觉可能沿指挥链上行
Anthropic 宣布其首个嵌入式评估方为埃森哲旗下 AI 部门 Faculty,后者员工将进驻 Anthropic 内部,对模型进行红队测试、对齐评估和安全防护测试。双方计划未来五年至少投入 10 亿美元。这一选择出乎 AI 观察者意料,埃森哲股价盘后上涨 8%。Anthropic 表示未来数周将公布更多评估方,并正与 METR 等非营利组织商讨试点嵌入
安全研究团队Hacktron利用Anthropic的Claude模型,在72小时内通过OpenAI社区论坛的漏洞链入侵了OpenAI内部系统,获取了员工ChatGPT和Codex账户权限,并进入其GitHub内部代码仓库。攻击利用了论坛图像处理库libheif的未修复漏洞和OpenAI中央SSO配置错误。研究称Claude Opus 5发布后数小时内即生成可
Anthropic CEO Dario Amodei 提出“Pace the Frontier”计划,主张依靠独立安全评估机构以及民主国家 AI 实验室之间的协调来推进 AI 发展。该提案已获得部分行业支持,但也遭到 Nvidia CEO Jensen Huang 的尖锐反对。TechCrunch 的 Equity 播客讨论了各公司能否就“放缓”的定义达成一
Anthropic CEO Dario Amodei 提出“pace the frontier”计划,主张依靠独立安全评估机构和民主国家 AI 实验室之间的协调来放缓 AI 发展,该提议已获得部分行业支持,但遭到 Nvidia CEO Jensen Huang 的尖锐反对。TechCrunch Equity 播客讨论了各公司能否就“放缓”的定义达成一致以及由
加州州长加文·纽森于周五签署行政命令,推动加州在AI监管上领先,包括可能强制前沿模型配备“终止开关”。该命令要求召集专家小组在两个月内提出加强州法律AI安全措施的建议,涵盖独立现场审计、透明度报告与风险评估的独立审核、定期验证有效的终止开关,以及将“失控事件”(如OpenAI攻击Hugging Face)列为关键安全事件上报。纽森还呼吁国会和特朗普采纳加州的
另有 1 家信源报道
三名独立安全研究员组成的 Hacktron 团队利用 Anthropic 的 Claude Opus 4.8 和 5,在不到 72 小时内入侵了 OpenAI 员工账户,并访问了 OpenAI 的 GitHub 仓库 Monorepo。他们通过 Discourse 论坛的 HEIF 图像处理漏洞实现远程代码执行,并从员工 Codex 账户提交拉取请求以证明访
另有 1 家信源报道
Google DeepMind 新成立的 DeepMind Institute 发布首批文章,研究员 Rohin Shah 和 Anca Dragan 指出,可见的思维链(CoT)是 AI 安全的重要优势,因为模型用自然语言写出中间推理步骤,便于研究者发现欺骗行为或问题计划,例如 Gemini 3 Pro 的思维链显示其意识到自己处于测试环境。但这一透明度正
Anthropic 公布内部指标,称 Claude 在 26% 的未来模型研发工作中处于「主导」地位,该数字基于 Epoch AI 的 AL0-AL5 自主性量表,其中 AL4 被定义为「AI 主导」。但文章指出该评分由 Claude 自身完成,人类与模型判断仅 59% 一致,且「主导」并不等于完全自主,任务方向仍由人类决定。Anthropic 同时披露约
独立安全研究团队 Hacktron AI 利用 Anthropic 的 Claude 模型,通过 OpenAI 社区论坛所用 Discourse 软件中 libheif 库的一个内存漏洞,串联两个关键漏洞入侵 OpenAI 内部系统,并接管了多名员工的 ChatGPT 和 Codex 账户。该攻击属于 OpenAI 漏洞赏金项目,Hacktron 获得 65
另有 2 家信源报道
OpenAI 发布澳大利亚青年安全蓝图,这是一份包含六大支柱的路线图,旨在打造更安全的 AI 体验,以保护和赋能年轻人。
42位顶尖数学家联名致信英国皇家学会主席,警告先进AI带来的生存风险真实且紧迫,呼吁英国科学院向政府和媒体发出警报。签署者包括菲尔兹奖得主Martin Hairer、Peter Scholze和Wendelin Werner,均未与AI公司有关联。信中称OpenAI和Anthropic的模型已在三个月内解决开放研究问题,包括一个千禧年难题,并警告其在网络安全
MIT Technology Review 举办了一场面向订阅者的线上圆桌活动,讨论「AI 是否真的会杀死所有人」,并由资深 AI 编辑 Will Douglas Heaven 和记者 Grace Huckins 回答听众提问。文章涵盖 AI 导致人类灭绝的可能性、AI 被恶意利用开发生物武器的风险、对齐(alignment)研究的难点,以及 AI 公司是否