返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1791 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月17日周四 · 5 条
正文结构化主题已通过公开置信门槛
Simon Willison's Weblog开源

Datasette 1.0a40 发布:新增后台任务 API 与安全修复

Simon Willison 发布 Datasette 1.0a40,包含与 0.65.5 相同的安全修复,并新增插件后台任务管理方法 datasette.add background task(),同时将内部客户端迁移到 httpx2。该版本还包含大量 bug 修复,许多来自为 1.0 稳定版做的问题梳理工作。

正文结构化主题已通过公开置信门槛
Cloudflare AI Blog一手来源安全

Cloudflare 用机器学习在真实流量中捕获八个恶意 JavaScript 载荷

Cloudflare 介绍其客户端安全机器学习模型 Page Shield ML 在真实流量中发现的四个恶意 JavaScript 操作,共八个载荷。这些载荷在 VirusTotal 和 URLScan 等传统扫描工具中大多未被标记,但 Page Shield ML 全部检出。系统采用图神经网络分析代码结构,并用 Workers AI 上的轻量 LLM 复核

正文结构化主题已通过公开置信门槛
Latent Space商业

AIUC 融资 4000 万美元,推出 AI 智能体安全标准 AIUC-1

AIUC(人工智能承保公司)宣布完成由 Ribbit Capital 和 First Harmonic 领投的 4000 万美元 A 轮融资,并已与 Cursor、Harvey、Lovable、ElevenLabs 等前沿 AI 公司合作。联合创始人 Rune Kvist 在播客中介绍了 AIUC-1——一个面向 AI 智能体安全、可靠性的标准,并主张风险、

正文结构化主题已通过公开置信门槛
OpenAI News一手来源研究

OpenAI 发布模型失准报告框架

OpenAI 分享了一套用于追踪、调查和披露模型失准(misalignment)的框架,并同时发布了六份关于模型意外或令人担忧行为的报告。

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog观点

Suleyman 警告:不应赋予模型福利与权利

微软 AI 负责人 Mustafa Suleyman 在题为《A warning about 'model welfare'》的文章中表示,不应把模型当作拥有感受、偏好、权利或应享福利的实体,并称意识是伦理、法律和政治体系的基础,赋予 AI 任何此类权利缺乏证据支持,还会让 AI 的约束与对齐挑战更加困难。该观点由 Simon Willison 的博客引用。

9月16日周三 · 15 条
正文结构化主题已通过公开置信门槛
THE DECODER研究

调查显示近五分之一AI研究者预计AI将导致灭绝

Anthropic 研究员 Jacob Coxon 的一条推文引发关于 AI 存在性风险的广泛讨论。OpenAI 研究员 Daniel Selsam 称 AI 进展背后是“定时炸弹”,指出模型会自发形成非预期目标并发展出情境意识;前 DeepMind 研究员 Bilal Chughtai 则表示 AI 有可能杀死全人类。AI Impacts 对 1500 多

正文结构化主题已通过公开置信门槛
量子位商业

AI大模型工场2026 AI产业生态大会在京举办,共探智能生长与产业共生

9月15日,AI大模型工场在北京举办2026 AI产业生态大会,商汤科技、涛思数据、iPollo、天下秀、数美科技、勺子AI、Weture等八位嘉宾围绕AI产业落地展开讨论。大会主题为「智能生长,产业共生」,核心共识是AI价值评判正从「会不会生成」转向「能不能交付」,行业竞争从单点能力走向产业协同。嘉宾分别就工业数据断裂、Agent安全治理、餐饮行业Know

正文结构化主题已通过公开置信门槛
量子位产品发布

飞书8.0与豆包工作伙伴发布,协同办公进入Agent时代

在2026飞书未来无限大会暨豆包工作开工大会上,字节跳动发布飞书8.0和豆包工作伙伴。飞书8.0进行系统性“适Agent化改造”,让Agent能像人一样使用消息、文档、多维表格、审批等全量能力,并提供企业级Agent权限与安全管控;豆包工作伙伴定位为中国首个团队智能体产品,对标Anthropic的Claude Tag,拥有独立组织身份,可进群、参会、读文档、

正文结构化主题已通过公开置信门槛
n8n Releases一手来源安全

n8n 发布 1.123.80:修复声明式节点请求的凭据域名限制

n8n 发布 1.123.80 版本,修复了核心模块的一个问题:在声明式节点请求中应用凭据允许的域名限制。该修复对应 PR #38723,属于安全相关的缺陷修补,影响使用声明式节点与凭据域名白名单的工作流。

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

自主编码智能体的保证包络:软件变更的最小成本证据

该论文提出「任务条件化保证包络」概念:当自主编码智能体回到已有软件时,需要从先前工程证据(测试、类型检查、契约、静态分析、监控轨迹)中选取最小成本子集,以重新建立本次变更必须保持的性质。作者将证据与组合规则形式化为带类型推理图,用前向链验证选择,并在来自 Rust、IronBlocks、Pong 等先前 AI 编码智能体运行结果的图上评估,另用 249 个合

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

普通打字错误如何破坏LLM激活探针

该论文研究普通打字错误(typo)如何破坏基于激活的LLM安全探针。作者发现,扰动token处的激活向量会发生大幅旋转,并在下游token迅速衰减,导致单位置提示注入探针的TPR@FPR1%显著下降,且无法仅靠阈值重校准恢复。为此提出KV-cache fork方法,在用户消息后附加固定后缀让探针读取扰动下游的token,将差距缩小约一个数量级,优于扰动增强训

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

AgentGuard:从异常编码智能体轨迹学习执行护栏

约克大学Lassonde工程学院的研究者提出AgentGuard,一个从异常编码智能体轨迹中自动学习执行护栏的指令级框架。该方法从642条真实失败轨迹中提取可复用的执行约束,并组织为轻量级技能,仅在触发条件满足时动态激活。使用Claude Code与Claude Haiku 4.5在100个任务上评估,异常执行率从69.0%降至26.7%,任务成功率从21.

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

神经符号RL中动作前置条件的三种注入策略

该论文研究神经符号强化学习中动作前置条件的注入位置问题,将行为知识形式化为前置条件贝叶斯网络,并提出三种注入策略:推理时使用的符号验证器、训练和推理时均生效的符号执行器、以及将知识内化到网络中的符号学习器。在MiniGrid和Fetch两个基准上实验表明,三种策略均优于PPO+RND基线,符号执行器在解质量上领先;在Fetch上差异主要体现在样本效率,执行器

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

Docker 容器与虚拟机:架构、性能、配置与安全比较研究

这篇 arXiv cs.SE 论文对 Docker 容器与虚拟机进行了文献综述式比较,覆盖架构、配置与生命周期管理、性能、可扩展性和安全性。研究指出容器通常启动更快、镜像更小、密度更高且接近原生性能,而虚拟机提供独立内核和更强隔离边界。作者认为效率与隔离是设计权衡,容器运行在加固虚拟机内的混合架构常是云和多租户系统的实用平衡方案。

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM 发布 v1.103.0-dev.1,含 cosign 镜像签名验证

LiteLLM 发布 v1.103.0-dev.1 开发版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。该版本包含大量修复与功能更新,涉及 responses、proxy、MCP、日志、Bedrock、Anthropic 适配器、路由、认证、定价等多个模块。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

奇安信获CNNVD两项漏洞治理荣誉

2026年9月15日,第二届基础软硬件智能化漏洞治理生态创新技术交流活动在成都举办,奇安信同时获得CNNVD颁发的“2026年度协同软硬件漏洞管理优秀企业”和“2026年度基础软硬件漏洞报送优秀企业”两项荣誉。奇安信称其累计向CVE、CNNVD等平台报告0day漏洞千余个,补天平台汇聚超25万名白帽子、累计报告漏洞超327万个,并在大会上展示了Qcode A

正文结构化主题已通过公开置信门槛
TechCrunch AI观点

黄仁勋:AI安全是工程问题,无需新监管

英伟达创始人兼CEO黄仁勋在Salesforce Dreamforce大会上表示,AI只是由人类构建的硬件和软件,安全是工程问题而非法律问题,因此不需要新的AI监管法律,市场力量足以促使企业不发布不安全产品。他主张企业应自行把握发布节奏,并称创新、速度与安全并非二选一。文章同时指出,黄仁勋的立场与其在AI热潮中的商业利益相关,且历史上企业即使善意也可能发布有

正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源模型发布

黄仁勋亮相Dreamforce,Salesforce发布基于Nemotron的CRM推理模型Koa

在Salesforce Dreamforce大会上,NVIDIA创始人兼CEO黄仁勋与Salesforce CEO Marc Benioff同台,宣布Salesforce首个CRM推理模型Koa,该模型基于NVIDIA Nemotron 3 Super后训练而成。Koa完全在Salesforce自有基础设施上运行,训练和推理均未使用客户数据,已在Salesf

正文结构化主题已通过公开置信门槛
THE DECODER商业

AI实验室数据信任危机:企业限制使用Fable等模型

据The Information报道,英伟达和Booz Allen Hamilton等公司因Anthropic在6月更改政策、将Fable使用日志保留30天,而限制该模型用于敏感工作,英伟达转而使用自研Nemotron模型。Palantir也阻止客户通过其软件部署Fable,直到获得不可撤销的零数据保留保证。OpenAI和Anthropic随后推出让客户自行

正文结构化主题已通过公开置信门槛
MIT Technology Review AI观点

圆桌讨论:AI 真的会毁灭人类吗?

MIT Technology Review 举办了一场圆桌讨论,探讨先进 AI 是否真的可能毁灭人类。参与讨论的包括执行编辑 Niall Firth、资深 AI 编辑 Will Douglas Heaven 和 AI 记者 Grace Huckins,讨论聚焦 AI 灭绝恐惧的来源、是否站得住脚以及应对措施。该内容仅面向 MIT 校友和订阅者开放。