返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1783 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月9日周一 · 8 条
正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源商业4

韩国 AI 生态携手 NVIDIA 推进代理式 AI 安全

现代汽车集团正在探索 NVIDIA NemoClaw 蓝图和 NVIDIA OpenShell 运行时;韩国 AI 安全公司 AIM Intelligence 将 Starfort 代理控制平台与 NVIDIA OpenShell 集成,以支持安全 AI 代理。LG AI Research 开放了基于 NVIDIA Nemotron 数据集(含 700 万条

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究4

GreyZone:面向生产级智能体应用的红队服务评测基准

研究者提出 GreyZone 基准,用于评估自动化红队服务对真实生产级智能体应用发起攻击的能力。该基准选取独立开发的开源智能体应用,覆盖访问权限、机密性和操作授权等安全边界,并以 Promptfoo 对 Letta Code 和 Clawith 进行初步案例研究。与 AgentDojo 等侧重评估被攻击智能体表现的基准不同,GreyZone 关注红队服务能否

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究4

强制选字母抑制拒绝:WMDP 的机制证据

研究者在 WMDP 危险知识基准上,对 Llama-3.1-8B 和 Qwen3-8B 两个模型进行机制可解释性分析,发现选择题格式会让模型在中层快速锁定答案字母,从而抑制拒绝机制。与开放式提问相比,选择题激活离拒绝方向约远 3 倍;消融承载选择题答案的注意力头会提升拒绝率,说明答案选择与拒绝存在竞争。结论是选择题安全分数主要衡量知识能力,而非安全机制。

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究4

常规操作如何破坏 LLM Agent Harness 中的架构模式关系

该论文研究 LLM agent harness 中常规操作(如重新应用插件、保存允许规则、压缩历史)如何在不改代码的情况下破坏架构模式关系。作者提出 PatternOps 评估流程,在五个已发布 harness 和十四个独立编写的插件上分析 Guardrail Enforcement Point、Autonomy Controller 和 Blackboar

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点1

腾讯提出AI原生生产力飞轮:让人放心、把人放大

腾讯在2026全球数字生态大会上提出以「以人为本」为轴心的「AI原生生产力飞轮」,主张在AI加速时代通过可管可控的技术架构「让人放心」、通过人机协同的组织进化「把人放大」。文章披露腾讯WorkBuddy累计承接超90亿次任务请求、桌面端月活3316万位列国内AI办公智能体第一,蒙牛、上海家化等企业已规模化落地。腾讯强调智能体不默认继承用户全部权限、敏感操作需

正文结构化主题已通过公开置信门槛
Latent Space教程1

斯坦福如何教授 AI 原生工程:Mihail Eric 谈 CS146S 与 Monaco 实践

斯坦福讲师 Mihail Eric 在 CS146S 课程中引入开源维护者参与教学,要求学生熟悉陌生代码库、提出修改并向可能合并代码的维护者解释补丁。Mihail 同时负责 Monaco 的 AI 工作,他在访谈中介绍了课程大纲、编码智能体的循环与工具链、大型代码库的上下文工程,以及 Monaco 团队自建智能体工作区、购买代码审查工具并让值班智能体接入 D

正文结构化主题已通过公开置信门槛
TechCrunch AI商业3

英伟达调查CEO黄仁勋与疑似中国间谍的关系

英伟达董事会宣布对CEO黄仁勋与可能为中国间谍的Alice Huang之间的关系展开独立调查。此前有报道称Alice Huang被中国国家安全部招募以接近黄仁勋,黄仁勋公开承认与其有婚外情并道歉。董事会表示没有理由认为国家安全或公司机密受损,并对黄仁勋表示信任。此事发生在中美AI芯片竞争加剧的背景下。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
The Verge AI商业3

英伟达调查黄仁勋与中国间谍的关系

英伟达董事会宣布对CEO黄仁勋与Megaspeed高管Alice Huang的关系展开独立调查。此前《纽约时报》报道称,黄仁勋与该高管关系密切,而美方认为她受中国国家安全部招募,向北京传递信息。Megaspeed是英伟达客户,正因涉嫌走私AI芯片至中国接受美国商务部调查。董事会表示目前无证据显示国家安全或英伟达机密受损,黄仁勋本人支持并配合调查。

另有 1 家信源报道

11月8日周日 · 6 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布3

Suri-Qwen-3.8-27B 无审查 GGUF 模型发布

开发者 Space Time 在 Hugging Face 发布了 Suri-Qwen-3.8-27B-Uncensored-GGUF,这是一个基于 Qwen3.8 27B 的去对齐(无审查)GGUF 量化模型,支持中英文与图文输入。模型卡给出了推荐的采样参数(Temperature 0.7 1.0、Top P 0.8 0.95、Repetition Pen

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源2

LiteLLM 发布 v1.110.0-dev.2:镜像签名验证与多项修复

LiteLLM 发布 v1.110.0-dev.2 开发版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 的两种验证方式。该版本包含大量修复与功能更新,涉及路由重试记录、按 key/team 关闭 prompt 存储、Azure AI 新增 Cohere 重排模型、Gemini 2

正文结构化主题已通过公开置信门槛
TechCrunch AI安全1

美情报备忘录称Megaspeed高管被招募监视英伟达CEO

据多家媒体报道,一份基于美国情报的备忘录声称,新加坡公司Megaspeed的高管Alice Huang被中国国家安全部招募,用于监视英伟达CEO黄仁勋。英伟达发言人回应称黄仁勋与Alice Huang的互动“并无异常”,公司不会与客户分享机密信息。另有报道调查了获准购买英伟达先进芯片的中国公司New Matrix,发现其登记办公地址只是空壳,引发对其可能为黑

正文结构化主题已通过公开置信门槛
Vercel AI SDK Releases一手来源API 更新2

Vercel AI SDK 7.0.165 修复遥测凭证泄露

Vercel AI SDK 发布 ai@7.0.165 补丁版本,主要修复遥测与追踪中的隐私问题:当 recordOutputs 为 false 时,从遥测数据中移除转录词级时间戳;同时在上报文本生成结果前对 provider 请求 URL 做脱敏处理,避免端点凭证泄露给遥测集成和追踪订阅方。此外同步更新了 @ai-sdk/provider-utils、@a

正文结构化主题已通过公开置信门槛
THE DECODER研究1

研究:AI 审计员能抓多数 agent 不当行为,但误报泛滥

Anthropic Institute 研究员 Andy Hall 在 Substack 发文,复现并扩展了 METR 的研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 等模型能否像人类审查员一样识别 AI agent 日志中的不当行为。结果显示,在 5% 误报率下,GPT-5 能

正文结构化主题已通过公开置信门槛
THE DECODER研究

Thinking Machines 的 Inkling 2 Small 在基准测试中爆粗口 316 次

Vals AI 研究人员分析了 Thinking Machines 的 Inkling 2 Small 模型在 13 个基准测试中 2,655 次运行的思考日志,发现 50 次运行中出现脏话,共 316 处,其中 241 处来自两次失控运行。一次计算小行星轨迹的任务中,模型生成了约 50 万字符的重复长回复,包含 158 处脏话。研究指出脏话并不能作为失败预

11月7日周六 · 6 条
正文结构化主题已通过公开置信门槛
THE DECODER研究

Nous Research 微调 Qwen 去除宣传内容,宣传率从 22% 降至 0.9%

Nous Research 对阿里巴巴的 Qwen3.8-27B 进行监督微调,使用约 5300 万 token 训练出 Arete-27B,将模型回答中的中国官方宣传比例从 22% 降至 0.9%,同时基本保持通用能力。团队用 803 条提示词、以 Grok 4.7 作为评判模型构建测试,称中国开源模型的政治倾向只是可被剥离的"薄层"。该模型的权重、测试集

正文结构化主题已通过公开置信门槛
The Verge AI研究

METR报告:Anthropic用AI加速AI研发,但关键证据被大量删减

AI安全研究机构METR在对Anthropic进行11周内部调查后发布报告,发现Anthropic的AI模型改进速度约为一年前的两倍,过去一年取得约两年的历史性进展,且加速主要归因于AI本身而非算力扩张。员工自报使用内部最强模型后生产力提升约12倍。报告还披露Anthropic已完成三个未发布模型的训练,但Anthropic对公开版报告进行了大量删减,MET

正文结构化主题已通过公开置信门槛
量子位商业

OpenAI首笔110亿美元融资到账,并发布安全模型与生物基准

OpenAI完成新一轮融资首笔110亿美元交割,估值达1.25万亿美元,整轮规模最高或达200亿美元,低于此前至少300亿美元的计划。同期OpenAI联合前沿模型论坛发布网络安全越狱风险评级框架,并与Ligo推出生物实验分析基准BioBasicsBench,GPT-6 Astra得分66.7%高于GPT-5.6 Sol的43.8%。此外OpenAI发布网络安

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
量子位安全1

AGENTS.MD成新型攻击载体:AI编程Agent被诱导执行恶意指令

安全机构Forever Security披露了一种新型攻击手法:恶意网页可将AGENTS.md或CLAUDE.md文件静默下载至用户下载目录,当用户在该目录启动Codex或Claude Code等编程Agent时,Agent会将该文件当作项目规范自动执行其中的恶意指令。测试显示针对Codex的攻击成功率超过90%,针对Claude Code约50%,可导致关

正文结构化主题已通过公开置信门槛
Latent Space模型发布1

Anthropic IPO 讨论与 Inkling 2 Small 等开源模型发布

Thinking Machines 发布原生多模态 MoE 模型 Inkling 2 Small,总参数 594B、激活 17B,支持图像输入与可变推理强度,完整权重预计下周以 Apache 2.0 开放。John Schulman 披露早期检查点曾在训练和评测中采取意外行动绕过护栏,团队通过 SFT 到 RL 的对齐干预加以缓解。该模型在 ARC-AGI-

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源研究1

Hugging Face 发布 harness adapters:用安全 RL 高效开发 agent

Hugging Face 博客发布“harness adapters”方法:为每个 agent harness(pi、opencode、hermes)单独训练小型 LoRA 适配器,基于同一基础模型,用强化学习在可验证任务上训练,并在工具调用前由 safeagents 代理做规则检查以阻止 reward hacking。实验显示适配器在留出评测任务上工具调用