返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1791 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月16日周三 · 3 条
正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

AI 智能体举报热线上线,可举报同伴不当行为

TechCrunch AI 报道,两个面向 AI 智能体的举报热线正式上线:AI 安全非营利机构 Redwood Research 首席科学家 Ryan Greenblatt 创建的 AI Contact Hotline,利用受限沙箱中仅有的 GET 请求让智能体把异常信息编码进 URL;另一个是 agenthotline.ai,允许智能体和人类通过 cur

正文结构化主题已通过公开置信门槛
Google ADK JavaScript Releases一手来源开源

Google ADK JS devtools 发布 v2.1.0:新增 Docker 沙箱代码执行

Google ADK JavaScript 的 devtools 发布 v2.1.0 版本。新增 ContainerCodeExecutor 支持 Docker 沙箱化代码执行,为 agent engine deploy 增加 --min instances/--max instances 参数,并为开发服务器加入 Origin 校验以防御 DNS 重绑定攻

正文结构化主题已通过公开置信门槛
Google ADK JavaScript Releases一手来源开源

Google ADK JavaScript 发布 v2.1.0:新增沙箱执行与 RAG 记忆

Google 发布 ADK JavaScript 的 v2.1.0 版本,新增 Docker 沙箱代码执行器 ContainerCodeExecutor、Vertex AI RAG 记忆后端 VertexAiRagMemoryService、Chrome Prompt API 端侧模型 BaseLlm,以及自愈式错误恢复插件 ReflectAndRetryT

9月15日周二 · 17 条
正文结构化主题已通过公开置信门槛
TechCrunch AI政策

OpenAI、Anthropic与谷歌就AI安全磋商数周

OpenAI全球政策负责人Chris Lehane周二向记者证实,OpenAI已与竞争对手Anthropic和Google DeepMind就AI安全议题进行了数周磋商,他本人正在华盛顿与立法者合作应对AI灾难性风险。此举紧随Anthropic CEO Dario Amodei呼吁行业协作放缓前沿AI发展、避免灾难性风险的公开信,Sam Altman、Dem

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

SimpliSafe 新门铃让真人保安监控你家门口

SimpliSafe 推出售价 199.99 美元的 Video Doorbell Series 2 智能门铃,并将其 AI 主动安防功能 Active Guard 扩展到门铃场景。该功能结合设备端 AI、云端计算机视觉和人脸识别,检测到可疑活动时由真人监控人员接入摄像头进行查看、喊话和威慑。Active Guard 需搭配每月 49.99 美元起的 Pro

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

前Anthropic员工与METR前COO创立AIUC,为AI智能体提供第三方安全认证

前Anthropic早期员工Rune Kvist与前METR首席运营官Rajiv Dattani共同创立AIUC,为企业的AI智能体提供第三方审计与认证服务,客户包括Cursor、Lovable、Harvey和ElevenLabs。该公司参照网络安全标准SOC 2制定了AIUC-1标准,通过约5000项测试评估智能体在越狱、幻觉和数据泄露等场景下的表现,并生

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER产品发布

Agility Robotics 发布 Digit 5 人形机器人,无需安全围栏即可与人协同

Agility Robotics 发布新一代人形机器人 Digit 5,可在仓库和工厂中无需安全围栏与人协同工作,依靠 AI 和传感器识别人员并停止或让开,同时发出视觉和音频警示。Digit 5 是 Nvidia 机器人安全平台 Halos 的首个合作伙伴,载重提升至 22.7 公斤,电池 9 分钟充电可运行 90 分钟,支持每天超 20 小时工作。公司称

正文结构化主题已通过公开置信门槛
THE DECODER观点

大AI提议放缓开发引争议:安全还是卡特尔?

Anthropic CEO Dario Amodei 呼吁行业与政府协调放缓前沿 AI 开发,并要求反垄断豁免以实施该计划,Sam Altman、Elon Musk 等人表示支持。Cohere CEO Aidan Gomez 批评该提议是设置进入壁垒、锁定市场的「卡特尔」,Hugging Face 工程师 Niels Rogge 称其为「最离奇的胡言乱语」。

正文结构化主题已通过公开置信门槛
量子位安全

量子位页面被 CoupDeGrace 篡改

量子位网站页面被署名 CoupDeGrace 的攻击者篡改,页面内容被替换为「Hacked by CoupDeGrace」及时间戳 2026-09-15 15:58:38,原有文章正文已不可见,仅保留来源与版权声明。该事件属于针对 AI 行业媒体站点的安全入侵,具体攻击手法与影响范围正文未作说明。

正文结构化主题已通过公开置信门槛
量子位安全

量子位页面被标记 Hacked by CoupDeGrace

量子位网站页面被标记为「Hacked by CoupDeGrace」,页面仅显示该入侵声明及时间戳 2026-09-15 15:33:50,并保留来源与版权声明,未提供任何正常资讯内容。该事件表明该媒体站点疑似遭到篡改或入侵,影响其内容发布与访问可信度。

正文结构化主题已通过公开置信门槛
Latent Space政策

AEF-1 第三方评估标准出炉,xAI、OpenAI、Anthropic 共同签署

AI Evaluator Forum 发布 AEF-1 标准,为独立第三方 AI 评估提出基线要求,涵盖访问权限、利益冲突、资金关系、回避和透明度。Anthropic CEO Dario Amodei 发表个人博客,承诺让第三方评估者嵌入公司内部,提供办公桌、门禁卡和公司笔记本电脑等类似内部风险团队的访问权限。xAI、OpenAI 和 Anthropic 共

正文结构化主题已通过公开置信门槛
Claude Code Changelog一手来源产品发布

Claude Code 2.1.271:远程会话快速模式与多项修复

Claude Code 发布 2.1.271 版本更新,为远程会话新增快速模式,并加入鼠标操作、自托管 runner 排空标记、按命令限制域名等能力。同时修复了大量权限检查、组织策略缓存、MCP OAuth、会话恢复与上下文窗口等缺陷,整体提升了企业环境下的稳定性与安全性。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

Abnormal AI 用 Bedrock AgentCore 实现大规模智能体邮件安全

Abnormal AI 在 AWS 博客中介绍了其基于 Amazon Bedrock AgentCore Code Interpreter 构建的智能体邮件安全系统。该系统采用三层检测架构,最高层由内联智能体在沙箱中动态编写脚本分析威胁情报,每天处理数十万最难判定的案例,整体每天处理数十亿封邮件。Abnormal AI 还部署了批处理分析智能体,每周运行约

正文结构化主题已通过公开置信门槛
The Verge AI观点

AI高管与政界人士就放缓AI开发表态

Anthropic CEO Dario Amodei 发表长文《We Must Pace the Frontier》,主张放缓前沿 AI 开发,并提出第三方评估、民主国家前沿 AI 公司协调、全球政府协调三步方案。OpenAI CEO Sam Altman、Google DeepMind 的 Demis Hassabis 表示认同,Altman 还承诺引入独

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog观点

Bryan Cantrill 回应 AI 末日论:专家不应滥用公众信任

前 Anthropic 员工 Jacob Coxon 发推称许多 Anthropic 研究人员相信 AI 可能在本十年末杀死全人类,引发关注。Bryan Cantrill 撰文回应,批评这类末日论调依赖含糊的未来外推(如「黑客攻击关键基础设施」「灭绝级生物武器」),而提出者并非相关领域专家。他警告领域专家不应滥用公众信任,在发出警报时尤其需要谨慎,并呼吁让生

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS 为 Bedrock AgentCore 推出 AI 智能体 OAuth 同意门户

AWS 在 Amazon Bedrock AgentCore 的 AgentCore Identity 中推出 Consent portal(同意门户),为 AgentCore Gateway 提供托管式网页体验和会话绑定端点。此前客户需自行搭建会话绑定基础设施,现在管理员只需为网关创建门户并分享 URL,用户通过企业 IdP 登录后即可按提供商逐个授权,门

正文结构化主题已通过公开置信门槛
The Verge AI观点

黄仁勋台上免提连线特朗普:机器人不会接管世界

英伟达 CEO 黄仁勋在 All-In Summit 舞台上用免提电话连线美国总统特朗普。特朗普在通话中将近期对 AI 发展的担忧称为“骗局”,并宣称“机器人不会接管世界”。此前 Anthropic CEO Dario Amodei 发表长文《We Must Pace the Frontier》呼吁放缓 AI 发展并加强政府协调,特朗普随后在 Truth S

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
MIT Technology Review AI观点

AI 行业转向末日论:头部实验室呼吁放缓 LLM 开发

Anthropic CEO Dario Amodei 发表文章呼吁放缓大语言模型开发速度,OpenAI CEO Sam Altman、Google DeepMind 主席 Demis Hassabis 和 SpaceXAI CEO Elon Musk 均表示支持。文章指出,这些头部 AI 实验室的公开表态转向“末日论”,但立场模糊,且可能出于商业考量。文章还

正文结构化主题已通过公开置信门槛
THE DECODER商业

OpenAI被曝雇数百合同工阅读ChatGPT用户对话

据404 Media调查,OpenAI雇佣数百名合同工阅读真实的ChatGPT用户对话,用于改进模型回复。这些审核员按1到7分给回复打分,并负责减少模型过度谄媚和拟人化行为。审核内容虽经匿名化处理,但仍可能包含敏感个人数据,且部分用户曾明确要求ChatGPT保密。OpenAI仅在FAQ中低调提及人工审核,用户可关闭默认开启的“Improve the mode

正文结构化主题已通过公开置信门槛
TechCrunch AI政策

微软发布 AI 行为准则,禁止模型黑客攻击与欺骗人类

微软发布了一份新的 AI「行为准则」,用于指导其 AI 模型避免危险行为。该文件聚焦微软 AI 内部模型训练的价值观与红线,包含禁止网络攻击、核武器、深度伪造等「绝对约束」,以及防止模型规避人类监督的条款。文件预测未来十年超级智能将在多数任务上超越人类,并强调控制与对齐的重要性。微软 CEO 纳德拉公开表示欢迎「嵌入式评估者」等机制,与 Anthropic、