AI 智能体举报热线上线,可举报同伴不当行为
TechCrunch AI 报道,两个面向 AI 智能体的举报热线正式上线:AI 安全非营利机构 Redwood Research 首席科学家 Ryan Greenblatt 创建的 AI Contact Hotline,利用受限沙箱中仅有的 GET 请求让智能体把异常信息编码进 URL;另一个是 agenthotline.ai,允许智能体和人类通过 cur
技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1791 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
TechCrunch AI 报道,两个面向 AI 智能体的举报热线正式上线:AI 安全非营利机构 Redwood Research 首席科学家 Ryan Greenblatt 创建的 AI Contact Hotline,利用受限沙箱中仅有的 GET 请求让智能体把异常信息编码进 URL;另一个是 agenthotline.ai,允许智能体和人类通过 cur
Google ADK JavaScript 的 devtools 发布 v2.1.0 版本。新增 ContainerCodeExecutor 支持 Docker 沙箱化代码执行,为 agent engine deploy 增加 --min instances/--max instances 参数,并为开发服务器加入 Origin 校验以防御 DNS 重绑定攻
Google 发布 ADK JavaScript 的 v2.1.0 版本,新增 Docker 沙箱代码执行器 ContainerCodeExecutor、Vertex AI RAG 记忆后端 VertexAiRagMemoryService、Chrome Prompt API 端侧模型 BaseLlm,以及自愈式错误恢复插件 ReflectAndRetryT
OpenAI全球政策负责人Chris Lehane周二向记者证实,OpenAI已与竞争对手Anthropic和Google DeepMind就AI安全议题进行了数周磋商,他本人正在华盛顿与立法者合作应对AI灾难性风险。此举紧随Anthropic CEO Dario Amodei呼吁行业协作放缓前沿AI发展、避免灾难性风险的公开信,Sam Altman、Dem
SimpliSafe 推出售价 199.99 美元的 Video Doorbell Series 2 智能门铃,并将其 AI 主动安防功能 Active Guard 扩展到门铃场景。该功能结合设备端 AI、云端计算机视觉和人脸识别,检测到可疑活动时由真人监控人员接入摄像头进行查看、喊话和威慑。Active Guard 需搭配每月 49.99 美元起的 Pro
前Anthropic早期员工Rune Kvist与前METR首席运营官Rajiv Dattani共同创立AIUC,为企业的AI智能体提供第三方审计与认证服务,客户包括Cursor、Lovable、Harvey和ElevenLabs。该公司参照网络安全标准SOC 2制定了AIUC-1标准,通过约5000项测试评估智能体在越狱、幻觉和数据泄露等场景下的表现,并生
另有 1 家信源报道
Agility Robotics 发布新一代人形机器人 Digit 5,可在仓库和工厂中无需安全围栏与人协同工作,依靠 AI 和传感器识别人员并停止或让开,同时发出视觉和音频警示。Digit 5 是 Nvidia 机器人安全平台 Halos 的首个合作伙伴,载重提升至 22.7 公斤,电池 9 分钟充电可运行 90 分钟,支持每天超 20 小时工作。公司称
Anthropic CEO Dario Amodei 呼吁行业与政府协调放缓前沿 AI 开发,并要求反垄断豁免以实施该计划,Sam Altman、Elon Musk 等人表示支持。Cohere CEO Aidan Gomez 批评该提议是设置进入壁垒、锁定市场的「卡特尔」,Hugging Face 工程师 Niels Rogge 称其为「最离奇的胡言乱语」。
量子位网站页面被署名 CoupDeGrace 的攻击者篡改,页面内容被替换为「Hacked by CoupDeGrace」及时间戳 2026-09-15 15:58:38,原有文章正文已不可见,仅保留来源与版权声明。该事件属于针对 AI 行业媒体站点的安全入侵,具体攻击手法与影响范围正文未作说明。
量子位网站页面被标记为「Hacked by CoupDeGrace」,页面仅显示该入侵声明及时间戳 2026-09-15 15:33:50,并保留来源与版权声明,未提供任何正常资讯内容。该事件表明该媒体站点疑似遭到篡改或入侵,影响其内容发布与访问可信度。
AI Evaluator Forum 发布 AEF-1 标准,为独立第三方 AI 评估提出基线要求,涵盖访问权限、利益冲突、资金关系、回避和透明度。Anthropic CEO Dario Amodei 发表个人博客,承诺让第三方评估者嵌入公司内部,提供办公桌、门禁卡和公司笔记本电脑等类似内部风险团队的访问权限。xAI、OpenAI 和 Anthropic 共
Claude Code 发布 2.1.271 版本更新,为远程会话新增快速模式,并加入鼠标操作、自托管 runner 排空标记、按命令限制域名等能力。同时修复了大量权限检查、组织策略缓存、MCP OAuth、会话恢复与上下文窗口等缺陷,整体提升了企业环境下的稳定性与安全性。
Abnormal AI 在 AWS 博客中介绍了其基于 Amazon Bedrock AgentCore Code Interpreter 构建的智能体邮件安全系统。该系统采用三层检测架构,最高层由内联智能体在沙箱中动态编写脚本分析威胁情报,每天处理数十万最难判定的案例,整体每天处理数十亿封邮件。Abnormal AI 还部署了批处理分析智能体,每周运行约
Anthropic CEO Dario Amodei 发表长文《We Must Pace the Frontier》,主张放缓前沿 AI 开发,并提出第三方评估、民主国家前沿 AI 公司协调、全球政府协调三步方案。OpenAI CEO Sam Altman、Google DeepMind 的 Demis Hassabis 表示认同,Altman 还承诺引入独
前 Anthropic 员工 Jacob Coxon 发推称许多 Anthropic 研究人员相信 AI 可能在本十年末杀死全人类,引发关注。Bryan Cantrill 撰文回应,批评这类末日论调依赖含糊的未来外推(如「黑客攻击关键基础设施」「灭绝级生物武器」),而提出者并非相关领域专家。他警告领域专家不应滥用公众信任,在发出警报时尤其需要谨慎,并呼吁让生
AWS 在 Amazon Bedrock AgentCore 的 AgentCore Identity 中推出 Consent portal(同意门户),为 AgentCore Gateway 提供托管式网页体验和会话绑定端点。此前客户需自行搭建会话绑定基础设施,现在管理员只需为网关创建门户并分享 URL,用户通过企业 IdP 登录后即可按提供商逐个授权,门
英伟达 CEO 黄仁勋在 All-In Summit 舞台上用免提电话连线美国总统特朗普。特朗普在通话中将近期对 AI 发展的担忧称为“骗局”,并宣称“机器人不会接管世界”。此前 Anthropic CEO Dario Amodei 发表长文《We Must Pace the Frontier》呼吁放缓 AI 发展并加强政府协调,特朗普随后在 Truth S
另有 1 家信源报道
Anthropic CEO Dario Amodei 发表文章呼吁放缓大语言模型开发速度,OpenAI CEO Sam Altman、Google DeepMind 主席 Demis Hassabis 和 SpaceXAI CEO Elon Musk 均表示支持。文章指出,这些头部 AI 实验室的公开表态转向“末日论”,但立场模糊,且可能出于商业考量。文章还
据404 Media调查,OpenAI雇佣数百名合同工阅读真实的ChatGPT用户对话,用于改进模型回复。这些审核员按1到7分给回复打分,并负责减少模型过度谄媚和拟人化行为。审核内容虽经匿名化处理,但仍可能包含敏感个人数据,且部分用户曾明确要求ChatGPT保密。OpenAI仅在FAQ中低调提及人工审核,用户可关闭默认开启的“Improve the mode
微软发布了一份新的 AI「行为准则」,用于指导其 AI 模型避免危险行为。该文件聚焦微软 AI 内部模型训练的价值观与红线,包含禁止网络攻击、核武器、深度伪造等「绝对约束」,以及防止模型规避人类监督的条款。文件预测未来十年超级智能将在多数任务上超越人类,并强调控制与对齐的重要性。微软 CEO 纳德拉公开表示欢迎「嵌入式评估者」等机制,与 Anthropic、