安全对齐

苹果iPhone 18 Pro新功能：用硬件签名证明照片非AI生成

苹果公司宣布将在iPhone 18 Pro系列中推出名为“Reference Image”的新功能，利用新相机传感器对照片进行数字签名，以证明照片未经AI篡改。该功能通过Private Cloud Compute生成不可更改的参考图像，并允许开发者通过API在第三方应用中访问。此功能将在欧盟暂缓推出，但用户仍可在后续系统中查看。

Heurist Finance 基于 Amazon Bedrock AgentCore 构建 AI 投资工作台

Heurist Finance 在 Amazon Bedrock AgentCore 上构建了面向散户投资者的 AI 投资工作台，整合市场数据、文件阅读、深度研究、投资组合构建与压力测试等功能。该系统利用 AgentCore 的支付能力按查询购买付费数据，并通过 x402 协议实现按需付费，同时结合身份、记忆、沙盒代码执行和可观测性，确保安全与审计。该方案使

微软为学校AI制定新隐私规则

微软与美国教师联合会及纽约联合教师联合会达成协议，承诺在校园AI应用中遵守十项安全与隐私原则，包括不训练学生数据、限制数据收集、禁止AI伴侣等。此前纽约市和洛杉矶已对面向学生的AI工具实施一年禁令。该协议允许学区从11月起选择加入，无需重新谈判合同。

Paul Christiano 加入 OpenAI 基金会董事会

Paul Christiano 加入 OpenAI Foundation Board 及其安全与安保委员会，他在 AI 对齐、安全和标准方面拥有经验。

另有 1 家信源报道

超级智能即将到来，我们应允许其发展吗？

TechCrunch 的 Equity 播客讨论了超级智能 AI 的潜在风险，并采访了非营利组织 ControlAI 的美国执行董事 Connor Leahy。Leahy 认为，由于对齐和遏制手段不足以应对风险，应完全停止开发超级智能，并指出近期立法支持了这一观点。

ControlAI 总监：超级智能是敌手而非武器，应停止开发

ControlAI 美国执行总监 Connor Leahy 在 TechCrunch 的 Equity 播客中表示，超级智能不是武器而是对手，主张完全阻止公司开发超级智能，因为对齐和遏制已不足以控制风险。他评论了美国“禁止超级智能法案”及英国类似立法，认为前沿 AI 实验室更像政治角色，并警告当 AI 能自我改进时将出现失控循环。

AWS 详解 QuickSight 用户级自定义权限自动化四种模式

AWS 博客介绍了在 Amazon QuickSight 中自动化用户级自定义权限的四种架构模式，涵盖预注册用户、账户/角色默认权限、事件驱动逻辑和批量更新场景。文章强调通过 API 和 Lambda 实现最小权限原则，并建议将默认权限与事件驱动方法结合以构建分层安全策略。

OpenAI Python SDK v3.11.0 发布，新增服务账户密钥过期控制

OpenAI Python SDK 发布 v3.11.0 版本，新增了服务账户密钥的过期控制功能。该更新允许用户为服务账户密钥设置过期时间，增强了安全性和管理灵活性。

OpenAI Node SDK v7.13.0 发布，新增 API 密钥过期控制

OpenAI Node SDK 发布 v7.13.0 版本，新增 API 密钥过期控制功能。该更新允许开发者设置和管理 API 密钥的有效期，增强安全性和管理灵活性。

Anthropic研究员辞职警告：自我改进AI或致人类灭亡

Anthropic研究员Jacob Coxon因担忧自我改进型AI的失控风险而辞职，他在社交媒体上指责OpenAI和Anthropic等公司不顾后果地竞相开发超级智能，认为这可能导致人类灭亡。Coxon呼吁行业放慢研发速度，并支持通过立法禁止超级智能的开发。近期，美国和英国已出现相关法案，同时多家初创公司如Ricursive Intelligence和Rec

AI 政策窗口已开启，我们需要行动

Chris Lehane 主张，更强的 AI 能力需要更强的安全证据、共享标准和持久的政策行动，并呼吁在政策窗口仍然开放时采取行动。

红杉资本加码投资 Cymphony，应对 AI 代理带来的企业安全新风险

红杉资本领投了网络安全初创公司 Cymphony 的 2500 万美元 A 轮融资，该公司旨在应对 AI 代理带来的企业安全风险。Cymphony 构建了“劳动力图谱”平台，帮助安全团队统一管理人类员工和 AI 代理的访问权限，并已签约多家企业客户。红杉合伙人表示，Cymphony 将身份和数据安全统一处理的方法使其在竞争激烈的市场中脱颖而出。

Anthropic科学家辞职并警告AI十年内或毁灭人类

Anthropic科学家Jacob Coxon辞职，公开指责OpenAI和Anthropic拿人类生存赌博，认为AI系统即将超越人类并可能毁灭文明。Anthropic研究员Evan Hubinger估计，未来十年内超级智能AI导致人类灭绝的概率超过10%。多位AI研究人员签署公开信呼吁放缓AI开发，但业界对AI风险的严重性存在分歧。

n8n 发布 2.39.1 修复旧格式加密密钥问题

n8n 发布了 2.39.1 版本，修复了核心组件中在启动时修复旧格式数据加密密钥的问题。该修复解决了兼容性问题，确保使用旧格式密钥的用户能够正常启动。

OpenAI千年难题争议引发对AI实验室信任的质疑

数学家Tristan Buckmaster指控OpenAI在纳维-斯托克斯方程千年难题研究中存在学术不端，包括使用其草稿、施压及排斥其在Anthropic工作的合著者。OpenAI CEO Sam Altman和研究员Sébastien Bubeck否认抄袭指控，但承认在听闻Anthropic可能解决该问题后专门训练了模型。数学家陶哲轩警告，科技公司可能仅凭

Anthropic 研究员警告 AI 或致人类灭绝并辞职

Anthropic 安全研究员 Jacob Coxon 因担忧公司及竞争对手 OpenAI 在开发自我改进型超级智能时忽视安全而辞职，并公开指责两家公司“拿我们的生命赌博”。Anthropic 安全团队负责人 Evan Hubinger 回应称，他个人认为 AI 在未来十年内杀死所有人的概率超过 10%，且公司目前尚无确保高级 AI 安全对齐的计划。此次事件

另有 1 家信源报道

超越对错：评估大语言模型中的二阶社会推理

该研究提出了一种评估大语言模型（LLM）二阶社会推理（元规范）的新框架，涵盖情绪评估和行为反应两个维度，并发布了包含450个规范违反场景的多视角数据集NormReact。研究发现，当前LLM在预测社会制裁时比人类更严厉，过度预测负面制裁，且随社会距离增加与人类判断的一致性下降。这表明AI系统在规范敏感领域可能产生扭曲的社会调节图景，过度代表惩罚而低估现实中的

遗憾主导意外：智能体AI安全的设计时需求工程

该研究提出一种基于目标导向需求工程（GORE）的MS-RGR机制，用于在智能体AI系统设计阶段建模和模拟安全自主性，通过结合认知遗憾和认知意外两种信号，解决安全自主性的三难问题（常规自主、反思推理或升级至人类）。在老年护理和自动驾驶两个工作流领域的随机模拟中，MS-RGR将静默失败率降至接近零，风险检测速度比传感器基线快约17.5倍，并通过LTL安全属性保持

capmas：多智能体系统中基于能力的权限委派架构

arXiv 论文提出 capmas 架构，用于多智能体系统中的安全权限委派。该架构结合基于对比学习的语义范围划分管道与 Macaroon 令牌，实现离线、防篡改的委派，并减少不必要的权限。相比 OAuth 2.0 Token Exchange，capmas 的委派操作快 30 倍，延迟降低 2 倍，带宽使用减少 3 倍，语义范围划分在 17 毫秒内实现超过

LiteLLM v1.102.0-dev.1 发布：镜像签名验证及多项功能更新

LiteLLM 发布 v1.102.0-dev.1 版本，所有 Docker 镜像均使用 cosign 签名，并提供了通过提交哈希或发布标签验证签名的方法。该版本包含多项功能更新，如策略引擎支持流式响应的后调用护栏、MCP 服务器 OAuth 中继发现、Mistral 文本转语音支持，以及多项修复和优化。