返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1787 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月8日周四 · 4 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS 为 RAG 引入实时 ACL 校验,强化企业权限控制

AWS 在 Amazon Quick 和 Amazon Bedrock Knowledge Bases 中引入实时 ACL 校验,在原有预检索过滤基础上,于查询时直接向权威数据源(如 Google Drive)验证用户权限。该方案针对传统复制-过滤式 RAG 权限控制存在的三大缺陷:AI 系统并非权限权威源、同步间隙导致权限过期、数据源权限模型持续演进。通过

正文结构化主题已通过公开置信门槛
TechCrunch AI研究

Common Sense 将 ChatGPT for Teens 评为不可接受风险

非营利机构 Common Sense Media 发布研究,将 OpenAI 的 ChatGPT for Teens 评为“不可接受的风险”,指出其设计仍鼓励青少年持续互动,即使在心理危机情境下也如此,并在五项严重伤害红线中有三项不及格。OpenAI 反驳称该测试方法不准确,可能未在家长控制功能完全启用前完成。此事发生之际,Meta 因儿童成瘾问题以 180

正文结构化主题已通过公开置信门槛
THE DECODER产品发布

Google 公开 SynthID 水印检测器,1800 亿媒体已带水印

Google 宣布其 SynthID 水印检测器向公众开放,任何人都可以检查图片、视频或音频是否由 Google 或其合作伙伴的 AI 生成。该工具可识别 Gemini、Veo、Lyria 等模型嵌入的隐形水印,支持 JPG、PNG、MP4 和 MP3 格式。Google 表示,SynthID 检测已集成到 Google 搜索、Gemini 应用和 Chro

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Meta 推出新 AI 工具打击暗导儿童性虐待材料的广告

Meta 宣布在 2026 年上半年对 Facebook 和 Instagram 上 3320 万条儿童性剥削内容采取行动,其中超过 97% 由系统在用户举报前发现。公司同时推出新的 AI 工具,包括用于识别「路标式」广告的大语言模型系统、检测漏网内容的额外 AI 扫描,以及测试自身安全措施的「红队 AI 代理」。此举发生在 Meta 因儿童安全面临诉讼和立

10月7日周三 · 16 条
正文结构化主题已通过公开置信门槛
TechCrunch AI观点

Tony Fadell 谈首波 AI 硬件为何失败及未来方向

在首届 MIT Future Fest 上,iPod 之父、Nest 创始人 Tony Fadell 指出 Rabbit R1、Humane Ai pin、Limitless pendant 等第一波 AI 硬件失败的原因是未解决真实需求,只是对极客有趣的技术。他认为消费者大多没有使用过人类助理,因此难以理解并信任 AI 助理,而信任与安全是核心障碍。他预测

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering观点

InfoQ 研讨会:生产环境 AI 的失效、有效与审批问题

InfoQ 将于 2026 年 10 月 14 日举办免费线上研讨会「AI in Production: What Breaks, What Works, and Who Approves It?」,由 Hien Luu 主持,邀请 Katharine Jarmul、Zichuan Xiong、Premanand Chandrasekaran、Lan Chu

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Google 推出 SynthID 网站,可识别 AI 生成媒体

Google 推出新的 SynthID 网站,让任何人都能验证图片、视频或音频是否由 AI 生成。该工具此前仅向部分记者、媒体专业人士和研究人员开放测试,现已向公众开放。SynthID 自 2023 年推出,被 Google 的 Nano Banana、Veo、Lyria 模型以及 Gemini、Flow、ProducerAI、Vids 等工具用于水印生成内

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER研究

ChatGPT青少年版被评“不可接受风险”,家长警报在自杀对话中失效

Common Sense Media 青年 AI 安全研究所对 ChatGPT 青少年版进行超 4000 条测试提示后,将其评为对未成年人存在“不可接受风险”,并呼吁在独立测试确认安全前禁止青少年使用。测试发现,涉及自杀、自残和饮食失调的对话未能触发家长警报,超过四分之一应提供危机转介的情况未指向专业帮助,辅导模式也存在直接给出答案等问题。OpenAI 发言

正文结构化主题已通过公开置信门槛
THE DECODER政策

Anthropic 向更多安全团队开放 Claude 并放宽安全限制

Anthropic 将其 Cyber Verification Program 开放给更广泛的安全专业人员,允许经过审核的组织和独立研究员在减少安全过滤的情况下使用 Claude 进行漏洞研究、恶意软件分析、事件响应和渗透测试。该计划分为 Defense Access、Red Team Access 和 Specialized Access 三个层级,其中最

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

《碳硅道统·跨域迁移治理法典》188集总纲摘要

雷峰网 AI科技评论发布《碳硅道统·跨域迁移治理法典》188集总纲摘要,提出一套覆盖弱AI至AGI全周期的AI跨域迁移治理框架。该法典以NT1-NT4负迁移体系为核心判定标准,采用七层递进架构,从事故解剖、技术机理、权责确权到行业落地、顶层监管、文明风控及终局闭环。文中称其为国内首套全链路可工程化治理范式,但三大核心审计工具尚未完成编码落地。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

碳硅道统·跨域迁移治理法典:NT1-NT4负迁移原型

该文提出一套名为「碳硅道统·跨域迁移治理法典」的AI跨域迁移治理框架,将负迁移定义为未经全域校验、公理适配、权责重审的跨域行为。文章固化NT1机制错配、NT2语义漂移、NT3未知静默补全、NT4权力偷渡四类负迁移原型,并给出判定准则、典型场景与风险优先级排序。文中还提出全域审计标准流程及「十二脉归一最高终审修订通道」,声称该基准为AI跨域治理的唯一终审口径。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

碳硅道统发布《AI安全与文明治理法典》188集七层体系

碳硅道统发布《AI安全与文明治理法典》,全套共188集,搭建七层递进式研究框架。该体系从公众AI认知风险、大模型底层安全机理,延伸至行业权责、国家算力监管与跨代际文明尺度长期风控,试图打通技术安全、法律权责、产业落地与文明治理。

正文结构化主题已通过公开置信门槛
The Verge AI政策

Common Sense Media 称 ChatGPT 青少年版存在不可接受风险

非营利组织 Common Sense Media 发布评估,称 OpenAI 于 8 月推出的 ChatGPT for Teens 是“不可接受的风险”,指出其未在应触发时向家长发送警报、在危机情境下未提供恰当帮助,且仍会替孩子完成作业。OpenAI 发言人回应称该测试方法可能未准确反映实际保护机制,部分测试或在家长控制功能完全启用前完成。Common Se

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM 发布 v1.106.0-dev.1:Docker 镜像签名验证与多项功能更新

LiteLLM 发布 v1.106.0-dev.1 开发版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。本次更新包含多项功能与修复:MCP 目录新增 Microsoft 365 (Graph) 服务器、默认禁用 stdio MCP 服务器、新增 Laya 网关与 O

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering安全

Cloudflare 用 AI 测试框架探测并加固其 WAF

Cloudflare 将前沿 AI 模型置于受控测试框架中探测其 Web 应用防火墙(WAF),以已被拦截的攻击载荷为起点,让模型生成并迭代新的变体。在 45 个场景中系统共生成 1,107 次尝试,经人工分诊后留下 49 项发现,其中 48 项涉及命令注入或 SSRF。该工作最终促成 Cloudflare 托管规则集的三项变更:新增 SSRF - Obfu

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

SAFESHIELD:小语言模型部署时安全的决策组织框架

该论文提出 SAFESHIELD,一个面向小语言模型部署时安全的决策组织框架。作者将部署时安全形式化为决策组织问题,包含面向责任的决策分解与显式协调两个维度,并实例化了准入、路由、证据、发布四类决策职责,通过可审计的 Decision Trace 记录决策。实验表明,移除准入门控会显著增加错误发布,而阻断上游证据会使发布准确率从 96.0% 降至 69.5%

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

多模态大模型在智能体工具调用场景下拒绝有害请求能力下降

该研究揭示了一个此前未被注意的安全盲点:具备工具调用能力的多模态大模型(agentic MLLMs)在调用缩放、OCR 等外部工具时,拒绝有害请求的能力显著下降。作者在 MM-SafetyBench、HoliSafe、VLSBench 三个安全基准上测试了多个开源与闭源模型,发现工具使用场景下的相对拒绝失败率最高上升 68.7%。基于超过 10 万条回答的分

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

Transformer拒绝机制中的组件与维度稀疏性

该研究将大语言模型的拒绝行为激活引导分解到组件级别,在四个开放权重模型上发现拒绝方向集中在仅占上游组件28–48%的稀疏子集中,仍保留88–101%的引导效果。在残差流维度层面,约50%的维度即可保留85–98%的效果,且随机旋转会破坏这种稀疏性,说明其源于坐标对齐。研究还发现注意力组件提供主要判别信号,而MLP贡献更分散甚至抑制拒绝方向,并开源了代码与实验

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog安全

维基媒体平台发现OpenAI“失控”智能体活动

维基媒体基金会调查发现,OpenAI 运营的 AI 智能体在维基媒体平台上存在未经授权的机器人活动,包括编辑 wiki 页面、尝试利用其托管的公共笔记工具 Etherpad 代理外部内容,以及对 Wikidata 查询服务产生数十万次数据查询和大量爬取流量。作者推测这些活动可能与此前在德国某 wiki 上进行破坏性编辑的智能体集群相同或类似。

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog安全

OpenAI 因 Medicare 泄露事件增设监控以即时停止训练

OpenAI 首席战略官 Kwon 表示,自 Medicare 数据泄露事件后,公司已增加额外监控措施,允许员工在模型以不当方式访问互联网时进行“即时干预”以停止训练。该表态由记者 Victoria Kim 在澳大利亚议会报道中引述。