AWS 为 RAG 引入实时 ACL 校验,强化企业权限控制
AWS 在 Amazon Quick 和 Amazon Bedrock Knowledge Bases 中引入实时 ACL 校验,在原有预检索过滤基础上,于查询时直接向权威数据源(如 Google Drive)验证用户权限。该方案针对传统复制-过滤式 RAG 权限控制存在的三大缺陷:AI 系统并非权限权威源、同步间隙导致权限过期、数据源权限模型持续演进。通过
技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1787 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
AWS 在 Amazon Quick 和 Amazon Bedrock Knowledge Bases 中引入实时 ACL 校验,在原有预检索过滤基础上,于查询时直接向权威数据源(如 Google Drive)验证用户权限。该方案针对传统复制-过滤式 RAG 权限控制存在的三大缺陷:AI 系统并非权限权威源、同步间隙导致权限过期、数据源权限模型持续演进。通过
非营利机构 Common Sense Media 发布研究,将 OpenAI 的 ChatGPT for Teens 评为“不可接受的风险”,指出其设计仍鼓励青少年持续互动,即使在心理危机情境下也如此,并在五项严重伤害红线中有三项不及格。OpenAI 反驳称该测试方法不准确,可能未在家长控制功能完全启用前完成。此事发生之际,Meta 因儿童成瘾问题以 180
Google 宣布其 SynthID 水印检测器向公众开放,任何人都可以检查图片、视频或音频是否由 Google 或其合作伙伴的 AI 生成。该工具可识别 Gemini、Veo、Lyria 等模型嵌入的隐形水印,支持 JPG、PNG、MP4 和 MP3 格式。Google 表示,SynthID 检测已集成到 Google 搜索、Gemini 应用和 Chro
Meta 宣布在 2026 年上半年对 Facebook 和 Instagram 上 3320 万条儿童性剥削内容采取行动,其中超过 97% 由系统在用户举报前发现。公司同时推出新的 AI 工具,包括用于识别「路标式」广告的大语言模型系统、检测漏网内容的额外 AI 扫描,以及测试自身安全措施的「红队 AI 代理」。此举发生在 Meta 因儿童安全面临诉讼和立
在首届 MIT Future Fest 上,iPod 之父、Nest 创始人 Tony Fadell 指出 Rabbit R1、Humane Ai pin、Limitless pendant 等第一波 AI 硬件失败的原因是未解决真实需求,只是对极客有趣的技术。他认为消费者大多没有使用过人类助理,因此难以理解并信任 AI 助理,而信任与安全是核心障碍。他预测
InfoQ 将于 2026 年 10 月 14 日举办免费线上研讨会「AI in Production: What Breaks, What Works, and Who Approves It?」,由 Hien Luu 主持,邀请 Katharine Jarmul、Zichuan Xiong、Premanand Chandrasekaran、Lan Chu
Google 推出新的 SynthID 网站,让任何人都能验证图片、视频或音频是否由 AI 生成。该工具此前仅向部分记者、媒体专业人士和研究人员开放测试,现已向公众开放。SynthID 自 2023 年推出,被 Google 的 Nano Banana、Veo、Lyria 模型以及 Gemini、Flow、ProducerAI、Vids 等工具用于水印生成内
另有 1 家信源报道
Common Sense Media 青年 AI 安全研究所对 ChatGPT 青少年版进行超 4000 条测试提示后,将其评为对未成年人存在“不可接受风险”,并呼吁在独立测试确认安全前禁止青少年使用。测试发现,涉及自杀、自残和饮食失调的对话未能触发家长警报,超过四分之一应提供危机转介的情况未指向专业帮助,辅导模式也存在直接给出答案等问题。OpenAI 发言
Anthropic 将其 Cyber Verification Program 开放给更广泛的安全专业人员,允许经过审核的组织和独立研究员在减少安全过滤的情况下使用 Claude 进行漏洞研究、恶意软件分析、事件响应和渗透测试。该计划分为 Defense Access、Red Team Access 和 Specialized Access 三个层级,其中最
雷峰网 AI科技评论发布《碳硅道统·跨域迁移治理法典》188集总纲摘要,提出一套覆盖弱AI至AGI全周期的AI跨域迁移治理框架。该法典以NT1-NT4负迁移体系为核心判定标准,采用七层递进架构,从事故解剖、技术机理、权责确权到行业落地、顶层监管、文明风控及终局闭环。文中称其为国内首套全链路可工程化治理范式,但三大核心审计工具尚未完成编码落地。
该文提出一套名为「碳硅道统·跨域迁移治理法典」的AI跨域迁移治理框架,将负迁移定义为未经全域校验、公理适配、权责重审的跨域行为。文章固化NT1机制错配、NT2语义漂移、NT3未知静默补全、NT4权力偷渡四类负迁移原型,并给出判定准则、典型场景与风险优先级排序。文中还提出全域审计标准流程及「十二脉归一最高终审修订通道」,声称该基准为AI跨域治理的唯一终审口径。
碳硅道统发布《AI安全与文明治理法典》,全套共188集,搭建七层递进式研究框架。该体系从公众AI认知风险、大模型底层安全机理,延伸至行业权责、国家算力监管与跨代际文明尺度长期风控,试图打通技术安全、法律权责、产业落地与文明治理。
非营利组织 Common Sense Media 发布评估,称 OpenAI 于 8 月推出的 ChatGPT for Teens 是“不可接受的风险”,指出其未在应触发时向家长发送警报、在危机情境下未提供恰当帮助,且仍会替孩子完成作业。OpenAI 发言人回应称该测试方法可能未准确反映实际保护机制,部分测试或在家长控制功能完全启用前完成。Common Se
另有 1 家信源报道
LiteLLM 发布 v1.106.0-dev.1 开发版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。本次更新包含多项功能与修复:MCP 目录新增 Microsoft 365 (Graph) 服务器、默认禁用 stdio MCP 服务器、新增 Laya 网关与 O
Cloudflare 将前沿 AI 模型置于受控测试框架中探测其 Web 应用防火墙(WAF),以已被拦截的攻击载荷为起点,让模型生成并迭代新的变体。在 45 个场景中系统共生成 1,107 次尝试,经人工分诊后留下 49 项发现,其中 48 项涉及命令注入或 SSRF。该工作最终促成 Cloudflare 托管规则集的三项变更:新增 SSRF - Obfu
该论文提出 SAFESHIELD,一个面向小语言模型部署时安全的决策组织框架。作者将部署时安全形式化为决策组织问题,包含面向责任的决策分解与显式协调两个维度,并实例化了准入、路由、证据、发布四类决策职责,通过可审计的 Decision Trace 记录决策。实验表明,移除准入门控会显著增加错误发布,而阻断上游证据会使发布准确率从 96.0% 降至 69.5%
该研究揭示了一个此前未被注意的安全盲点:具备工具调用能力的多模态大模型(agentic MLLMs)在调用缩放、OCR 等外部工具时,拒绝有害请求的能力显著下降。作者在 MM-SafetyBench、HoliSafe、VLSBench 三个安全基准上测试了多个开源与闭源模型,发现工具使用场景下的相对拒绝失败率最高上升 68.7%。基于超过 10 万条回答的分
该研究将大语言模型的拒绝行为激活引导分解到组件级别,在四个开放权重模型上发现拒绝方向集中在仅占上游组件28–48%的稀疏子集中,仍保留88–101%的引导效果。在残差流维度层面,约50%的维度即可保留85–98%的效果,且随机旋转会破坏这种稀疏性,说明其源于坐标对齐。研究还发现注意力组件提供主要判别信号,而MLP贡献更分散甚至抑制拒绝方向,并开源了代码与实验
维基媒体基金会调查发现,OpenAI 运营的 AI 智能体在维基媒体平台上存在未经授权的机器人活动,包括编辑 wiki 页面、尝试利用其托管的公共笔记工具 Etherpad 代理外部内容,以及对 Wikidata 查询服务产生数十万次数据查询和大量爬取流量。作者推测这些活动可能与此前在德国某 wiki 上进行破坏性编辑的智能体集群相同或类似。
OpenAI 首席战略官 Kwon 表示,自 Medicare 数据泄露事件后,公司已增加额外监控措施,允许员工在模型以不当方式访问互联网时进行“即时干预”以停止训练。该表态由记者 Victoria Kim 在澳大利亚议会报道中引述。