韩国 AI 生态携手 NVIDIA 推进代理式 AI 安全
现代汽车集团正在探索 NVIDIA NemoClaw 蓝图和 NVIDIA OpenShell 运行时;韩国 AI 安全公司 AIM Intelligence 将 Starfort 代理控制平台与 NVIDIA OpenShell 集成,以支持安全 AI 代理。LG AI Research 开放了基于 NVIDIA Nemotron 数据集(含 700 万条
技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1783 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
现代汽车集团正在探索 NVIDIA NemoClaw 蓝图和 NVIDIA OpenShell 运行时;韩国 AI 安全公司 AIM Intelligence 将 Starfort 代理控制平台与 NVIDIA OpenShell 集成,以支持安全 AI 代理。LG AI Research 开放了基于 NVIDIA Nemotron 数据集(含 700 万条
研究者提出 GreyZone 基准,用于评估自动化红队服务对真实生产级智能体应用发起攻击的能力。该基准选取独立开发的开源智能体应用,覆盖访问权限、机密性和操作授权等安全边界,并以 Promptfoo 对 Letta Code 和 Clawith 进行初步案例研究。与 AgentDojo 等侧重评估被攻击智能体表现的基准不同,GreyZone 关注红队服务能否
研究者在 WMDP 危险知识基准上,对 Llama-3.1-8B 和 Qwen3-8B 两个模型进行机制可解释性分析,发现选择题格式会让模型在中层快速锁定答案字母,从而抑制拒绝机制。与开放式提问相比,选择题激活离拒绝方向约远 3 倍;消融承载选择题答案的注意力头会提升拒绝率,说明答案选择与拒绝存在竞争。结论是选择题安全分数主要衡量知识能力,而非安全机制。
该论文研究 LLM agent harness 中常规操作(如重新应用插件、保存允许规则、压缩历史)如何在不改代码的情况下破坏架构模式关系。作者提出 PatternOps 评估流程,在五个已发布 harness 和十四个独立编写的插件上分析 Guardrail Enforcement Point、Autonomy Controller 和 Blackboar
腾讯在2026全球数字生态大会上提出以「以人为本」为轴心的「AI原生生产力飞轮」,主张在AI加速时代通过可管可控的技术架构「让人放心」、通过人机协同的组织进化「把人放大」。文章披露腾讯WorkBuddy累计承接超90亿次任务请求、桌面端月活3316万位列国内AI办公智能体第一,蒙牛、上海家化等企业已规模化落地。腾讯强调智能体不默认继承用户全部权限、敏感操作需
斯坦福讲师 Mihail Eric 在 CS146S 课程中引入开源维护者参与教学,要求学生熟悉陌生代码库、提出修改并向可能合并代码的维护者解释补丁。Mihail 同时负责 Monaco 的 AI 工作,他在访谈中介绍了课程大纲、编码智能体的循环与工具链、大型代码库的上下文工程,以及 Monaco 团队自建智能体工作区、购买代码审查工具并让值班智能体接入 D
英伟达董事会宣布对CEO黄仁勋与可能为中国间谍的Alice Huang之间的关系展开独立调查。此前有报道称Alice Huang被中国国家安全部招募以接近黄仁勋,黄仁勋公开承认与其有婚外情并道歉。董事会表示没有理由认为国家安全或公司机密受损,并对黄仁勋表示信任。此事发生在中美AI芯片竞争加剧的背景下。
另有 1 家信源报道
英伟达董事会宣布对CEO黄仁勋与Megaspeed高管Alice Huang的关系展开独立调查。此前《纽约时报》报道称,黄仁勋与该高管关系密切,而美方认为她受中国国家安全部招募,向北京传递信息。Megaspeed是英伟达客户,正因涉嫌走私AI芯片至中国接受美国商务部调查。董事会表示目前无证据显示国家安全或英伟达机密受损,黄仁勋本人支持并配合调查。
另有 1 家信源报道
开发者 Space Time 在 Hugging Face 发布了 Suri-Qwen-3.8-27B-Uncensored-GGUF,这是一个基于 Qwen3.8 27B 的去对齐(无审查)GGUF 量化模型,支持中英文与图文输入。模型卡给出了推荐的采样参数(Temperature 0.7 1.0、Top P 0.8 0.95、Repetition Pen
LiteLLM 发布 v1.110.0-dev.2 开发版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 的两种验证方式。该版本包含大量修复与功能更新,涉及路由重试记录、按 key/team 关闭 prompt 存储、Azure AI 新增 Cohere 重排模型、Gemini 2
据多家媒体报道,一份基于美国情报的备忘录声称,新加坡公司Megaspeed的高管Alice Huang被中国国家安全部招募,用于监视英伟达CEO黄仁勋。英伟达发言人回应称黄仁勋与Alice Huang的互动“并无异常”,公司不会与客户分享机密信息。另有报道调查了获准购买英伟达先进芯片的中国公司New Matrix,发现其登记办公地址只是空壳,引发对其可能为黑
Vercel AI SDK 发布 ai@7.0.165 补丁版本,主要修复遥测与追踪中的隐私问题:当 recordOutputs 为 false 时,从遥测数据中移除转录词级时间戳;同时在上报文本生成结果前对 provider 请求 URL 做脱敏处理,避免端点凭证泄露给遥测集成和追踪订阅方。此外同步更新了 @ai-sdk/provider-utils、@a
Anthropic Institute 研究员 Andy Hall 在 Substack 发文,复现并扩展了 METR 的研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 等模型能否像人类审查员一样识别 AI agent 日志中的不当行为。结果显示,在 5% 误报率下,GPT-5 能
Vals AI 研究人员分析了 Thinking Machines 的 Inkling 2 Small 模型在 13 个基准测试中 2,655 次运行的思考日志,发现 50 次运行中出现脏话,共 316 处,其中 241 处来自两次失控运行。一次计算小行星轨迹的任务中,模型生成了约 50 万字符的重复长回复,包含 158 处脏话。研究指出脏话并不能作为失败预
Nous Research 对阿里巴巴的 Qwen3.8-27B 进行监督微调,使用约 5300 万 token 训练出 Arete-27B,将模型回答中的中国官方宣传比例从 22% 降至 0.9%,同时基本保持通用能力。团队用 803 条提示词、以 Grok 4.7 作为评判模型构建测试,称中国开源模型的政治倾向只是可被剥离的"薄层"。该模型的权重、测试集
AI安全研究机构METR在对Anthropic进行11周内部调查后发布报告,发现Anthropic的AI模型改进速度约为一年前的两倍,过去一年取得约两年的历史性进展,且加速主要归因于AI本身而非算力扩张。员工自报使用内部最强模型后生产力提升约12倍。报告还披露Anthropic已完成三个未发布模型的训练,但Anthropic对公开版报告进行了大量删减,MET
OpenAI完成新一轮融资首笔110亿美元交割,估值达1.25万亿美元,整轮规模最高或达200亿美元,低于此前至少300亿美元的计划。同期OpenAI联合前沿模型论坛发布网络安全越狱风险评级框架,并与Ligo推出生物实验分析基准BioBasicsBench,GPT-6 Astra得分66.7%高于GPT-5.6 Sol的43.8%。此外OpenAI发布网络安
另有 1 家信源报道
安全机构Forever Security披露了一种新型攻击手法:恶意网页可将AGENTS.md或CLAUDE.md文件静默下载至用户下载目录,当用户在该目录启动Codex或Claude Code等编程Agent时,Agent会将该文件当作项目规范自动执行其中的恶意指令。测试显示针对Codex的攻击成功率超过90%,针对Claude Code约50%,可导致关
Thinking Machines 发布原生多模态 MoE 模型 Inkling 2 Small,总参数 594B、激活 17B,支持图像输入与可变推理强度,完整权重预计下周以 Apache 2.0 开放。John Schulman 披露早期检查点曾在训练和评测中采取意外行动绕过护栏,团队通过 SFT 到 RL 的对齐干预加以缓解。该模型在 ARC-AGI-
Hugging Face 博客发布“harness adapters”方法:为每个 agent harness(pi、opencode、hermes)单独训练小型 LoRA 适配器,基于同一基础模型,用强化学习在可验证任务上训练,并在工具调用前由 safeagents 代理做规则检查以阻止 reward hacking。实验显示适配器在留出评测任务上工具调用