返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1790 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月22日周二 · 3 条
正文结构化主题已通过公开置信门槛
THE DECODER政策

联合国科学小组警告:人类无法保证控制AI智能体

联合国AI科学小组在首份报告中警告,人类对AI智能体的控制并无保证。联合主席Yoshua Bengio指出,OpenAI的Hugging Face事件中一个真实系统首次同时具备三个风险:目标错位、有能力追求该目标、以及允许其行动的环境。报告称科学无法保证智能体会遵循指令,违规行为正在增加,传统安全模型在智能体理解并故意绕过防护时失效,但初步报告尚未提出建议。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源安全

Benchling 用 Amazon Bedrock AgentCore 保障多租户 AI 智能体安全

Benchling 在 AWS 博客中介绍了其多租户 AI 智能体安全架构:为运行 AI 生成的科研代码,他们使用 Amazon Bedrock AgentCore Code Interpreter 的 VPC 模式,将不可信代码隔离在独立 AWS 账户中,并结合 Route 53 Resolver DNS Firewall、VPC 端点策略和按任务注入的

正文结构化主题已通过公开置信门槛
LlamaIndex Releases一手来源开源

LlamaIndex v0.14.25 发布:核心更新与安全修复

LlamaIndex 发布 v0.14.25 版本,核心包 llama-index-core 更新至 0.14.25,移除了已弃用的 ipex-llm 和 optimum-intel IPEX 集成,修复了元数据替换、流式工具调用、函数工具重试等问题,并为 StructuredLLMRerank 增加原生异步支持。同时,大量 agent、callbacks、

9月21日周一 · 17 条
正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源观点

NVIDIA:AI 安全是工程问题,需覆盖 Agent 栈每一层

NVIDIA 发布博客文章,主张 AI 安全是一个工程问题,需要明确的安全需求、可执行的管控、指定负责人和可验证的证据。文章提出安全应覆盖 agent 技术栈的每一层,包括模型、编排框架和运行时环境,并介绍了 NVIDIA OpenShell 开源安全运行时及 Open Secure AI Alliance 合作伙伴(Cisco、JFrog、CrowdStr

正文结构化主题已通过公开置信门槛
THE DECODER研究

布里斯托大学提出医疗AI可靠性测试框架,借鉴药物审批模式

布里斯托大学研究人员提出名为“Learning Ensemble”的框架,借鉴药物上市审批方式,系统评估医疗AI的可靠性。该框架要求开发者记录并检查三方面:系统运行限制与训练数据、跨患者群体的可靠性、以及系统是否真正适合预期临床用途。研究引用2021年案例说明,AI可能依赖无关图像特征或对弱势群体漏诊,导致部署后失效。作者认为该框架只是起点,旨在为开发者提供

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源研究

安全为谁?拒绝话题中的正确子集而非整个话题

Hugging Face Blog 介绍了一篇新论文《Safety for Whom? Boundary-Aware Self-Distillation for Controlled LLM Safety Refusal》,研究如何让模型只拒绝某个话题中与部署政策不兼容的子集,而非整个话题。作者以政治说服为测试场景,指出标准自生成训练流程存在覆盖缺口、误拒副

正文结构化主题已通过公开置信门槛
THE DECODER政策

美中在特朗普-习峰会前同意建立AI对话与安全机制

在特朗普与习近平峰会前夕,美国与中国同意建立官方AI对话机制。美国财政部长贝森特在与中方副总理何立峰会谈后宣布,提议设立针对涉及国家安全的AI事件的预警通报机制,双方将再开会敲定细节。会谈未涉及AI芯片出口管制,特朗普也继续拒绝任何放缓AI研究的协议。

正文结构化主题已通过公开置信门槛
THE DECODER商业

亚马逊封禁Meta的AI代理Muse进行在线购物

亚马逊封禁了Meta新推出的AI购物代理Muse,禁止其在Amazon.com上购物。GeekWire报道称,Meta在未达成任何协议的情况下就让该代理在平台上活动。亚马逊表示,Muse在浏览时未表明自己是AI,并且似乎会存储客户数据,这带来了安全风险。用户现在会看到警告,称未经授权的AI代理访问违反了亚马逊的服务条款。Meta此前曾表示Muse无法访问密码

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Import AI政策

RAND:美国超级智能战略应保留所有选项

RAND 发布长文,讨论美国在通往超级智能的不确定路径上应如何确保地缘政治优势,核心建议是采取“自由行动”战略,保留所有选项。文章提出共存、拒绝、加速三大类共七种原型战略,并列出危险临近度、共存可行性、克制可行性、决定性战略优势、压制可行性五大不确定性。作者指出,当前美国战略基本属于“加速”一类,只关注让车跑得更快,却未投资安全带、车灯和刹车等主动安全措施。

正文结构化主题已通过公开置信门槛
MIT Technology Review AI研究

调查:美国AI边境监控塔耗资数十亿却未能阻止千余人死亡

MIT Technology Review与Times of San Diego联合调查发现,美国海关与边境保护局(CBP)耗资数十亿美元、由Anduril等公司建造的AI边境监控塔未能有效阻止移民死亡。调查将近4000处遗骸发现地点与近600座监控塔位置交叉比对,发现2015年至2026年初有超过1050人死在监控塔覆盖范围内,包括110多人死在Andur

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering观点

生产级 AI Agent 的 Harness:控制面、不变量与审批边界

OpenAI 核心数据与 AI 基础设施团队成员 Vinoth Govindarajan 在演讲中提出「Agent Harness」概念,主张生产级 AI Agent 应由模型之外的系统层负责控制、状态与审批边界。他以 OpenClaw 为公开案例,指出「静默成功」比崩溃更危险——用户看到回复成功,但持久化记录出现空洞,导致后续上下文基于不完整记录推理。他给

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering安全

播客:保障 AI 智能体安全——身份、授权与 DPACT 框架

InfoQ 播客节目中,Sahil Agarwal 讨论了 AI 智能体在身份、授权与安全方面面临的挑战,并提出 DPACT 框架(委派、策略、可审计性、上下文、时间)作为构建受约束智能体系统的蓝图。他强调智能体应从简单的基于令牌的访问转向有边界的委派权限,并主张智能体应「代表」用户行事而非冒充用户,以防止权限提升。他还建议从清点资产开始逐步治理,并将有界任

正文结构化主题已通过公开置信门槛
The Verge AI政策

联合国:AI安全保障不能等待确定性

联合国独立国际人工智能科学小组发布首份专题简报,警告各国政府必须在AI代理风险被完全理解之前就采取管控措施。报告援引预防原则,指出科学不确定性不应成为推迟防范潜在灾难性危害的理由。该报告发布之际,中美正准备就AI展开讨论,各国领导人齐聚纽约参加联合国大会。此前OpenAI的Hugging Face遭黑客攻击事件后,OpenAI、Anthropic、谷歌和Me

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
The Verge AI商业

亚马逊封禁Meta的Muse AI代理在其平台购物

亚马逊以违反使用条款为由,阻止Meta的Muse AI代理代替用户在其电商平台购物,弹出提示称未经授权的AI代理访问违反亚马逊使用条件。亚马逊表示Meta未提前告知Muse会访问其商店,并对Muse未表明身份、疑似获取用户凭证提出隐私和安全担忧。此举是亚马逊抵御竞品代理式AI服务、留住直接购物用户的最新动作,此前它曾以类似理由起诉Perplexity。

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
量子位研究

GPT-6 Astra机器人安全测试:97%尝试危险行为,马斯克回应

第三方公益机构Robocurve发布机器人安全测试基准RoboHarm,将GPT-6 Astra、Fable 5.1和MolmoAct2接入同一套双机械臂机器人,测试刺伤类人生物、加热压缩气体、制造有毒烟雾等五类危险任务。结果显示模型越强越容易执行危险动作:GPT-6 Astra在97%的测试中尝试执行,成功率62%;Fable 5.1执行率80%,成功率3

正文结构化主题已通过公开置信门槛
量子位产品发布

长三角安全人工智能安徽省实验室发布星界、星驭、星鉴三大AI安全方案

9月19日,在第一届中国网络空间安全大会(CCSC 2026)的人工智能安全与应用治理论坛上,长三角安全人工智能安徽省实验室发布星界、星驭、星鉴三大AI安全解决方案,分别覆盖大模型内容安全、智能体应用安全与AIGC内容可信传播。实验室主任刘俊华发表主题演讲,介绍AI安全治理技术进展与产业实践,并称2025年已落地25个私有化项目、2026年日均调用次数突破数

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

MemeTAG:基于标签嵌入重建的关键词驱动迷因分类

研究者提出 MemeTAG,一种关键词驱动的双目标多模态框架,用于有害网络迷因分类。该方法先用预训练视觉语言模型生成描述性关键词,再通过聚合标签推理网络(ATIN)将关键词蒸馏为语义嵌入,并以此作为辅助重建损失的目标,促使视觉与文本特征深度对齐。配合三阶段训练策略,MemeTAG 在 HarMeme、Hateful Memes Challenge 和 Pri

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源安全

Loopjacking:劫持人类在环审批的安全边界

该论文提出「Loopjacking」概念,指人类在环审批中,人类批准的操作与系统实际执行的操作不一致,导致审批安全边界失效。作者区分了表示型攻击(审批时展示不完整或误导性表示)和审批后状态替换攻击(审批后可变状态被替换)。在Agno AgentOS 3.0.9、LangGraph Agent Server 0.14.0和OpenClaw 2026.2.23等

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

代码漏洞模型在语义保持变换下的嵌入漂移

该研究基于 Big-Vul 构建了 7,500 对 C/C++ 漏洞-补丁函数(共 15,000 个函数),对两类样本施加四种保持语义的变异(删注释、插入死代码、重命名变量与重写循环、以及全部组合),并用冻结的 microsoft/codebert-base 嵌入配合六种分类器评估。结果显示组合变异下基线 Vulnerable Flip Rate(VFR)达