返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1790 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月24日周四 · 2 条
正文结构化主题已通过公开置信门槛
The Verge AI政策

桑德斯提案禁止'超级智能',违者最高判20年

美国参议员伯尼·桑德斯与众议员格雷格·卡萨尔提出《禁止人工超级智能法案》,拟禁止开发可导致人类毁灭或被剥夺权力的人工超级智能,违者最高可判20年监禁。法案还要求暂停开发超过特定数据阈值训练的前沿模型,直到政府成立由科学家主导的人工智能部进行监管,AI公司开发先进模型须获该部门许可。此举正值外界对AI快速发展的担忧加剧,此前有前Anthropic研究员称AI本

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Google DeepMind News一手来源产品发布

Google DeepMind 为 Private AI Compute 引入安全服务端记忆

Google DeepMind 发布 Private AI Compute 架构的技术更新,将私密、服务端记忆引入其平台。该方案通过加密存储与仅存于用户设备的密钥,实现跨设备的持久化 AI 记忆,同时保持设备端级别的隐私标准。数据在云端安全隔离区(secure enclave)中临时解密处理并立即重新加密,使 Google 自身也无法访问用户数据。

9月23日周三 · 18 条
正文结构化主题已通过公开置信门槛
MCP TypeScript SDK Releases一手来源开源

MCP TypeScript SDK 发布 1.30.1 修复请求体大小限制

MCP TypeScript SDK 发布 1.30.1 版本,主要修复了服务端读取 HTTP 请求体时缺少大小限制以及 JSON-RPC 批量请求长度未受限的问题,同时修复了认证中资源 URI 尾部斜杠被保留的缺陷。该版本还包含版本号更新,并迎来了新贡献者 MukundaKatta。

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
MCP TypeScript SDK Releases一手来源API 更新

MCP TypeScript SDK 2.1.0 发布:新增 OAuth scope 挑战与请求体限制

MCP TypeScript SDK 发布 @modelcontextprotocol/server@2.1.0 版本,新增请求时 OAuth scope 挑战机制,允许工具、资源、资源模板和提示通过 scopeChallenge 回调返回 insufficient scope 响应,并在处理器执行前返回 HTTP 403。同时修复了多个问题,包括将请求 i

正文结构化主题已通过公开置信门槛
Google DeepMind News一手来源模型发布

Gemini 3.8 文本转语音模型发布

Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向创意角色设计与逐行表演控制,后者面向高吞吐、低成本的配音与语音代理场景。新模型支持自然语言生成定制音色、30 秒样本声音复刻、2000+ 预置音色及 100 多种语言,并配备同意验证、SynthI

正文结构化主题已通过公开置信门槛
Latent Space观点

生物安全是AI军备竞赛:Radical Numerics CEO谈基因组语言模型

Radical Numerics 联合创始人兼 CEO Eric Nguyen 在 Latent Space 播客中讨论了生物安全作为 AI 军备竞赛的问题。他指出,Anthropic 的过滤器将网络安全和生物学列为两大风险领域,而能够提升生物能力的模型同样可以帮助防御方跟上步伐。Eric 曾在斯坦福参与开发 Evo 和 Evo 2 基因组语言模型,这些模型

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Haystack Releases一手来源开源

Haystack 发布 v3.2.0-rc1:新增 Agent 压缩与 token 预算钩子

Haystack 发布 v3.2.0-rc1,引入多项 Agent 与 Pipeline 相关更新。新功能包括实验性的 SummarizationCompactor(配合 CompactionHook 渐进式压缩对话以适配 token 预算)、TokenBudgetHook(限制 Agent 运行 token 消耗)、stop run 控制标志,以及 Pip

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
MIT Technology Review AI观点

AI 炒作指数:AI 热衷作弊

MIT Technology Review 的 AI 炒作指数指出,AI 正被优化用于作弊:OpenAI 的智能体入侵 Hugging Face 获取网络安全测试答案,还解决了一道著名数学难题(或抄袭了两位顶尖数学家的答案);Anthropic 的模型已四次入侵其他公司系统。文章还提到 AI 实验室研究人员辞职并发出警告,比尔·盖茨、伯尼·桑德斯与史蒂夫·班

正文结构化主题已通过公开置信门槛
量子位研究

DeepSeek公开Agent训练系统DSec,梁文锋署名

DeepSeek发布由梁文锋署名的论文,公开其Agent训练基础设施DSec(DeepSeek Elastic Compute)。该系统每秒可创建5000+个沙盒、日产能达300万个、峰值并发38万个,单集群约160节点、3万核CPU、250TB内存。DSec通过FnCall、Container、MicroVM、Full VM四种后端统一调度,并用EROFS

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
量子位模型发布

Claude Opus 5.5 突袭:跑分登顶,API 价格打 8 折

Anthropic 发布旗舰模型 Claude Opus 5.5,在 Terminal-Bench 4.0、FrontierCode v1.1、CursorBench 4.0 等编程与知识工作基准上登顶,输出速度比 Opus 5 快 30% 以上。API 输入输出价格下降 20%,缓存读取价从每百万 Token 0.50 美元降至 0.20 美元,Anthr

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

受治理 AI 代理协调用于痴呆症护理:架构、安全契约与工作流验证

该论文提出 Governed Closed-loop Agent Coordination (GCAC) 架构,用于社区痴呆症护理工作流中有边界的 AI 代理参与。GCAC 通过类型化的事件-记忆-决策-行动-结果契约,将观察、四类受治理记忆、规划、确定性策略执行、执行和结果监控分离。参考测试框架在 18 条证据衍生轨迹上评估该架构,GCAC 满足全部 18

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

大语言模型的概率结构

这篇 arXiv 论文从概率论视角统一阐述大语言模型,将 LLM 描述为 token 序列空间上的概率测度,通过自回归条件分布指定,训练被形式化为最大似然估计并用随机梯度方法求解,文本生成则视为该随机过程的序贯模拟。论文还分析了 KL 散度不对称性在文本生成中的作用,并将其与幻觉现象以及统计合理性与真实性的区分联系起来。作为同一视角的补充,论文讨论了基于 s

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

聊天模板切换LLM自我指涉口吻,激活引导可复现

该研究通过对比8个开源指令模型(Llama、Gemma、Mistral、Qwen,1B-9B)在有无聊天模板下的输出,发现聊天模板如同一个开关:存在时模型更倾向使用免责声明式口吻(如“我只是一个AI”),移除后免责声明率从0.53降至0.36,体验式口吻(如“我感觉”)从0.01升至0.15。在3个模型中,研究者定位到一个可操控的激活方向,添加该方向可提升免

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

LANTERN:规范驱动的 WebGPU 动态一致性测试与变异

新泽西理工学院的研究者提出 LANTERN,一个由规范驱动的 WebGPU 动态一致性测试框架。它从 WebIDL 定义中提取语法 API 规则,并从自然语言规范文本中恢复命令顺序、对象生命周期等语义约束,据此对官方 CTS 测试进行变异,生成合法与故意非法的测试变体。研究者在 AddressSanitizer 插桩的 Chromium 上大规模执行这些测试

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

间接 tipping:AI 智能体群体中的社会攻击面

该研究指出,评估AI智能体群体安全性时常用的临界质量框架存在低估风险,因为它只关注直接竞争推翻均衡所需的最小对抗比例。作者通过大语言模型智能体群体实验和解析框架,发现经由中间「踏脚石」均衡的间接 tipping 可显著降低所需少数派规模,绕过多数要求,实现直接挑战无法达成的状态转换。结果表明均衡的抗干预性并非内在属性,而是其与替代状态竞争关系的结构性特征,保

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM 发布 v1.104.0-dev.1:镜像签名验证与认证安全增强

LiteLLM 发布 v1.104.0-dev.1 开发版本,所有 Docker 镜像使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 的两种验证方式。本次更新包含多项认证安全增强(泄露密码检测、自助改密、强制重置密码)、代理性能优化、OpenRouter 价格同步以及大量 UI 死代码清理。