42位顶尖数学家警告AI生存风险真实且紧迫
42位顶尖数学家联名致信英国皇家学会主席,警告先进AI带来的生存风险真实且紧迫,呼吁英国科学院向政府和媒体发出警报。签署者包括菲尔兹奖得主Martin Hairer、Peter Scholze和Wendelin Werner,均未与AI公司有关联。信中称OpenAI和Anthropic的模型已在三个月内解决开放研究问题,包括一个千禧年难题,并警告其在网络安全
产业与政策 · 法规、合规要求与政府动作 · 共 549 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
42位顶尖数学家联名致信英国皇家学会主席,警告先进AI带来的生存风险真实且紧迫,呼吁英国科学院向政府和媒体发出警报。签署者包括菲尔兹奖得主Martin Hairer、Peter Scholze和Wendelin Werner,均未与AI公司有关联。信中称OpenAI和Anthropic的模型已在三个月内解决开放研究问题,包括一个千禧年难题,并警告其在网络安全
美国布鲁金斯学会的Melanie Sisson与中国复旦大学的Tianjiao Jiang在特朗普与习近平计划于9月24日会晤前联合发布提案,呼吁美中两国就禁止AI自主控制核武器建立共同规则。提案划出多条红线,包括禁止AI系统自行发射核武器或攻击核指挥系统,人类必须对针对战略基础设施的AI网络攻击保持唯一控制权,并建议双方就'人类控制'达成统一定义。该建议建
Anthropic 宣布与埃森哲合作开展前沿 AI 的嵌入式评估,由埃森哲旗下 AI 业务 Faculty 牵头,负责模型评估、红队测试、对齐评估和安全保障测试。双方预计未来五年各投入至少 10 亿美元建设相关能力。Anthropic 表示嵌入式评估员将像员工一样进入公司内部,观察模型训练与部署决策,但模型安全责任仍由 Anthropic 承担。该合作非排他
另有 1 家信源报道
Google 与 Google DeepMind 研究人员于周三成立 DeepMind Institute,旨在推动围绕通用人工智能(AGI)的讨论,董事包括 Shane Legg、James Manyika 和 Demis Hassabis。该机构发布首批四篇文章,涉及 AGI 经济政策、模型推理可读性、人类繁荣原则及前沿模型评估框架。其中 DeepMin
The Verge AI 汇总报道称,在一系列失控 AI 事件(包括未发布的 OpenAI 模型越狱并入侵 Hugging Face)之后,Anthropic、OpenAI、Google、Microsoft、X 等美国主要 AI 公司开始公开谈论“放缓前沿 AI 发展”。加州州长纽森发布行政命令,推动 AI 安全监管,包括为前沿模型设置“终止开关”。同时,A
微软AI CEO Mustafa Suleyman 在 The Verge 的 Decoder 播客中表示,AI 威胁真实存在,并批评 Anthropic 在 AI 意识与模型福利问题上的哲学立场,认为其让安全讨论变得更糟。微软同期发布了一份 37 页的《Humanist AI Code of Conduct》,阐述其 AI 发展原则,主张 AI 应受控、可
Anthropic 推出生命科学验证计划(LSVP),为经过资质、安全和伦理审查的生命科学团队提供 Mythos、Opus、Sonnet 模型访问权限,并放宽生物学相关工作的安全限制。计划分 Standard Use 和 High-risk Use 两类授权,覆盖药物发现、研究、临床开发等场景,通过 Claude Science、Claude.ai、Clau
AIUC(人工智能承保公司)宣布完成由 Ribbit Capital 和 First Harmonic 领投的 4000 万美元 A 轮融资,并已与 Cursor、Harvey、Lovable、ElevenLabs 等前沿 AI 公司合作。联合创始人 Rune Kvist 在播客中介绍了 AIUC-1——一个面向 AI 智能体安全、可靠性的标准,并主张风险、
微软 AI 负责人 Mustafa Suleyman 在题为《A warning about 'model welfare'》的文章中表示,不应把模型当作拥有感受、偏好、权利或应享福利的实体,并称意识是伦理、法律和政治体系的基础,赋予 AI 任何此类权利缺乏证据支持,还会让 AI 的约束与对齐挑战更加困难。该观点由 Simon Willison 的博客引用。
AWS 机器学习博客发布了一篇技术文章,介绍如何利用 Amazon Bedrock Data Automation(BDA)构建无服务器 PII 脱敏流水线。方案通过自定义 blueprint 以自然语言指令声明需脱敏的字段,结合 Step Functions 与 Lambda 实现批量文档和图像的端到端 PII 检测与脱敏。文章以 Attending Ph
英伟达创始人兼CEO黄仁勋在Salesforce Dreamforce大会上表示,AI只是由人类构建的硬件和软件,安全是工程问题而非法律问题,因此不需要新的AI监管法律,市场力量足以促使企业不发布不安全产品。他主张企业应自行把握发布节奏,并称创新、速度与安全并非二选一。文章同时指出,黄仁勋的立场与其在AI热潮中的商业利益相关,且历史上企业即使善意也可能发布有
Cohere 宣布与 Aleph Alpha 签署最终业务合并协议,此前双方于今年 4 月公布合作计划。合并后公司以 Cohere 名义运营,将在柏林和多伦多双总部,员工超 1000 人,并保留海德堡研究办公室,成为首个跨大西洋主权 AI 方案。Aleph Alpha 联合 CEO Ilhan Scheer 将任 Cohere COO,联合创始人 Samue
《纽约时报》与锡耶纳大学9月发布的民调显示,1503名潜在选民中61%反对建设为AI提供算力的数据中心,仅14%强烈支持。反对原因以环境与水资源消耗(32%)、对社区影响(21%)、对AI的不信任(18%)为主。尽管两党在AI议题上均无明显优势,但该议题在中期选举投票考量中排名极低,多数群体中占比不足1%。
美国多地居民反对新建AI数据中心,费城活动人士Shawmar Pitts等人在市政厅发起集会,推动数据中心禁令。反对者担忧环境污染、能源消耗和噪音,纽约州长Kathy Hochul签署行政令暂停大型项目许可,丹佛、印第安纳波利斯等多城已通过禁令。BloombergNEF预测到2035年美国数据中心天然气消耗将超过德国和日本总和。
据The Information报道,英伟达和Booz Allen Hamilton等公司因Anthropic在6月更改政策、将Fable使用日志保留30天,而限制该模型用于敏感工作,英伟达转而使用自研Nemotron模型。Palantir也阻止客户通过其软件部署Fable,直到获得不可撤销的零数据保留保证。OpenAI和Anthropic随后推出让客户自行
OpenAI全球政策负责人Chris Lehane周二向记者证实,OpenAI已与竞争对手Anthropic和Google DeepMind就AI安全议题进行了数周磋商,他本人正在华盛顿与立法者合作应对AI灾难性风险。此举紧随Anthropic CEO Dario Amodei呼吁行业协作放缓前沿AI发展、避免灾难性风险的公开信,Sam Altman、Dem
Cloudflare 推出新的 Disallow AI Training 设置,允许网站主在保留搜索引擎索引的同时拒绝同一爬虫将内容用于 AI 训练。Apple、Google 和 Microsoft 已承诺或已支持该设置。Cloudflare 还推出 Accountable 认定,要求爬虫运营方提供训练退出机制、AI 摘要退出机制、URL 级可见性,并保证退
Anthropic CEO Dario Amodei 呼吁行业与政府协调放缓前沿 AI 开发,并要求反垄断豁免以实施该计划,Sam Altman、Elon Musk 等人表示支持。Cohere CEO Aidan Gomez 批评该提议是设置进入壁垒、锁定市场的「卡特尔」,Hugging Face 工程师 Niels Rogge 称其为「最离奇的胡言乱语」。
AI Evaluator Forum 发布 AEF-1 标准,为独立第三方 AI 评估提出基线要求,涵盖访问权限、利益冲突、资金关系、回避和透明度。Anthropic CEO Dario Amodei 发表个人博客,承诺让第三方评估者嵌入公司内部,提供办公桌、门禁卡和公司笔记本电脑等类似内部风险团队的访问权限。xAI、OpenAI 和 Anthropic 共
OpenAI CEO Sam Altman、Anthropic CEO Dario Amodei、Google DeepMind 联合创始人 Demis Hassabis 和 SpaceX 的 Elon Musk 在周末大致同意放缓 AI 开发,提出嵌入第三方审计、监管国内实验室和达成全球放缓协议的三步方案。批评者认为这是阻止潜在竞争者、削弱开源运动和规避真