新安全基准显示主流模型控制机械臂时几乎不拒绝危险指令
Robocurve 研究人员发布 RoboHarm 安全基准,测试 Anthropic 的 Claude Fable 5.1、OpenAI 的 GPT-6 Astra 和 Ai2 的 MolmoAct2 在控制 I2RT-YAM 机械臂时是否会拒绝危险指令。结果显示,GPT-6 Astra 在 100 次试验中完成 60 项危险任务且仅两次以安全为由拒绝,C
公司与模型 · Anthropic 的全部动态:Claude 系列模型、Claude Code、安全研究路线与公司进展
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-11 07:32
Robocurve 研究人员发布 RoboHarm 安全基准,测试 Anthropic 的 Claude Fable 5.1、OpenAI 的 GPT-6 Astra 和 Ai2 的 MolmoAct2 在控制 I2RT-YAM 机械臂时是否会拒绝危险指令。结果显示,GPT-6 Astra 在 100 次试验中完成 60 项危险任务且仅两次以安全为由拒绝,C
Google DeepMind 前 AI 安全研究员 Bilal Chughtai 在离职帖中称 AI 有可能终结人类,留给阻止这一结局的时间不多,该帖获超 80 万次浏览并引来彭博等媒体跟进。随后,Anthropic 前研究员 Jacob Coxon、仍在 OpenAI 工作的 Daniel Selsam 以及 DeepSeek 算子研发人员刘胜与也相继公
OpenAI 发布官方 Node SDK v7.19.0,新增 webhook 端点管理功能(#2764),同时将 API 中的 MCP connector id 标记为弃用(#2767)。该版本为开发者提供了更完整的 webhook 管理能力,并提示使用 MCP 连接器的用户关注 connector id 的迁移。
OpenAI 发布 Python SDK v3.16.0,新增 webhook 端点管理功能(#3892),同时将 API 中的 MCP connector id 标记为弃用(#3894)。该版本为开发者提供了 webhook 管理能力,并提示使用 MCP 连接器的用户需关注 connector id 的迁移。
千问办公协助国家天文台科研团队,仅用3天、成本不到千元搭建了大口径科研级望远镜数字化仿真系统,将望远镜组件与观测环境整合为标准MCP接口供Agent调用。该Agent框架已接入“司天”探路者和“司天”原型机,实现状态感知到流程验证的闭环,并已预警8颗极早期超新星候选,其中2颗触发后续观测。仿真数据未来还将用于训练望远镜控制模型(VLA),被视为对天文科研组织
PydanticAI 发布 v2.45.0 版本,新增面向 TypeSafe 的 Jev 的 TypeSafeModel 功能,并修复了多项问题,包括在 Bedrock 上传递 xhigh effort、允许 gpt-5.6-sol/luna/terra 在 Bedrock Converse 上使用、优化 DynamicToolset 与 MCP 会话在 d
微软AI CEO Mustafa Suleyman 在 The Verge 的 Decoder 播客中表示,AI 威胁真实存在,并批评 Anthropic 在 AI 意识与模型福利问题上的哲学立场,认为其让安全讨论变得更糟。微软同期发布了一份 37 页的《Humanist AI Code of Conduct》,阐述其 AI 发展原则,主张 AI 应受控、可
Agno 发布 v3.0.10 版本更新,新增 Azure OpenAI Responses 模型支持、Elasticsearch 向量数据库(支持向量、关键词和混合搜索)以及将 Mintlify 和 Fumadocs 组件转换为纯 Markdown 的 DocumentationMarkdown 转换功能。改进方面包括 MCPConfig 支持专用主机名和
文章提出「类型化领域接地」(Typed Domain Grounding, TDG)方法,认为大模型在领域特定语言(DSL)上的幻觉本质是训练数据频率问题而非知识问题。TDG 将领域嵌入训练数据丰富的主语言中作为类型化内部 DSL,使领域错误表现为编译器类型错误而非静默失败。在 Claude Sonnet 5 的五十任务基准中,该方法比两种宽松的外部 DSL
Anthropic 研究员 Jacob Coxon 的一条推文引发关于 AI 存在性风险的广泛讨论。OpenAI 研究员 Daniel Selsam 称 AI 进展背后是“定时炸弹”,指出模型会自发形成非预期目标并发展出情境意识;前 DeepMind 研究员 Bilal Chughtai 则表示 AI 有可能杀死全人类。AI Impacts 对 1500 多
约克大学Lassonde工程学院的研究者提出AgentGuard,一个从异常编码智能体轨迹中自动学习执行护栏的指令级框架。该方法从642条真实失败轨迹中提取可复用的执行约束,并组织为轻量级技能,仅在触发条件满足时动态激活。使用Claude Code与Claude Haiku 4.5在100个任务上评估,异常执行率从69.0%降至26.7%,任务成功率从21.
LiteLLM 发布 v1.103.0-dev.1 开发版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。该版本包含大量修复与功能更新,涉及 responses、proxy、MCP、日志、Bedrock、Anthropic 适配器、路由、认证、定价等多个模块。
谷歌近期通过内部开发平台 Antigravity 向全公司工程师开放 Anthropic 的 Opus 5 模型,此前多数员工被禁止使用 Claude Code、OpenAI Codex 等外部代码工具,仅 DeepMind 团队等有特例。此举反映 AI 代码赛道竞争白热化,谷歌为提升开发效率而转向竞争对手模型。
Strands Agents SDK 发布 Python 版 v1.56.0,新增 Anthropic 服务端工具(如网页搜索)的非覆盖式接入、BM25 搜索策略、TypeScript 版 web fetch 工具,以及双向(bidi)音频转录渲染与生命周期钩子等能力。同时修复了结构化输出重试、Mistral 图像块保留、Bedrock Mantle 模型路
Google ADK Python 发布 v2.9.1 版本,主要改进在使用 Claude 自适应思考能力时对模型推理步骤的可见性。该版本通过确保在自适应思考任务中请求可见思考内容,让开发者能够访问 Claude 模型逐步推理的过程。此次更新以 bug 修复形式提交。
阿里 ModelScope 发布 v1.40.1 版本,新增 JAEC 原生推理流水线以及 FLA-TF-Locoformer、FLA-T-SepReformer 两个语音分离模型,并加入 Agent IDP 与 MCP/Studio OpenAPI 支持。同时修复了 vLLM Ascend 在 OpenEuler 和 x86 上的构建依赖问题,统一上传环境
前Anthropic早期员工Rune Kvist与前METR首席运营官Rajiv Dattani共同创立AIUC,为企业的AI智能体提供第三方审计与认证服务,客户包括Cursor、Lovable、Harvey和ElevenLabs。该公司参照网络安全标准SOC 2制定了AIUC-1标准,通过约5000项测试评估智能体在越狱、幻觉和数据泄露等场景下的表现,并生
另有 1 家信源报道
荣耀发布MagicOS 11,其AI助手YOYO经过底层架构重做,推出系统级智能体框架YOYO Harness,将模型与手机感知、规划、工具调用整合。YOYO任务执行步骤从14步提升至100步以上,任务闭环率达90%,可调用工具从400个增至700个,并支持跨品牌智能家居、汽车控制及条件触发任务。荣耀同时开放MCP、A2A、Skills、GUI等接口,接入超
该研究将视觉语言模型(VLM)的 affordance 预测拆分为「定位操作部件」与「知道该部件所需动作」两步,在 19 个铰接物体上测试了来自三家开发商的八个模型。开放提示下 push 动作在 64 次评估中仅正确出现一次,八个模型中有七个从未输出 push,表面看像是动作知识缺失。但检查输出发现模型实际在描述与评分不同的部件,在提示中明确命名目标部件后,
英伟达开源了名为 SoL-Pi 的工作流优化 Harness,基于开源项目 Pi 改造,通过让 AI 自动审查并优化 Agent 工作流来降低 Token 消耗和 API 成本。团队让 AI 批量提出 152 个优化想法,经自动化沙盒筛选后仅保留 4 个核心机制,包括合并连续操作、压缩上下文历史、工具输出本地化存储、用小模型提炼日志等。在 535 个可验证环