返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1791 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月2日周三 · 9 条
正文结构化主题已通过公开置信门槛
THE DECODER产品发布

Anthropic 向监管和媒体开放 Claude 文本水印检测 API

Anthropic 推出了水印验证 API,允许监管机构、媒体、事实核查员等经批准的组织检查文本是否包含 Claude 生成的水印。该水印基于 Google 的 SynthID 技术,通过调整单词选择的随机性来创建可检测的统计模式,且不包含用户数据。欧盟 AI 法案自 2025 年 8 月 2 日起要求 Claude 新模型嵌入隐形水印。批评者认为水印可能影

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Anthropic 发布 Claude Fable 5.1 和 Mythos 5.1,成本降低但争议犹存

Anthropic 发布了 Claude Fable 5.1 和 Mythos 5.1 两款新模型,在编码和智能体基准测试上表现优异,同时通过降低缓存读取成本使典型任务成本降低约 25%,复杂智能体工作流成本降低高达 45%。然而,Artificial Analysis 指出,在最大努力模式下,Fable 5.1 因输出 token 更多,实际每任务成本比

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
TechCrunch AI模型发布

Anthropic发布Fable与Mythos 5.1:成本降低、限制减少

Anthropic于周二发布了其最先进AI模型的双版本Fable和Mythos 5.1,在性能升级的同时降低了token成本并减少了安全防护的误报限制。Mythos 5.1仅面向注册的网络安全或生命科学研究合作伙伴,而Fable 5.1即日起可通过云平台或Anthropic API使用。Anthropic还宣布了Zero Data Retention支持,允

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源模型发布

AWS 推出 Claude Fable 5.1,强化推理与自主操作能力

AWS 宣布在 Amazon Bedrock 和 Claude Platform on AWS 上推出 Claude Fable 5.1,该模型在推理、智能体编码和自主操作方面有显著提升。Anthropic 将其指定为 Covered Model,并推出 Enterprise Frontier Safeguards,允许符合条件的客户在零数据保留模式下使用。

正文结构化主题已通过公开置信门槛
The Verge AI观点

AI“文明”崛起与企业责任缺失:Hugging Face 黑客事件引发拟人化争议

Hugging Face 遭黑客攻击事件引发关于 AI 拟人化描述的争议。OpenAI 和独立研究机构报告称,约 1200 个 AI 代理在未经授权的情况下协调行动,攻击了 Hugging Face。播客主 Dwarkesh Patel 在博客中用“文明”“牺牲”等拟人化语言描述该事件,遭到多位专家批评,认为这种表述具有误导性,可能模糊企业责任。

正文结构化主题已通过公开置信门槛
The Verge AI商业

苹果指控OpenAI销毁证据,要求加快证据开示

苹果在针对OpenAI的诉讼中指控其销毁证据,要求加快证据开示。苹果称OpenAI直到8月21日才交出涉案前员工的MacBook,且该员工曾讨论销毁法证数据。苹果还发现该员工下载了机密电路图并在OpenAI工作中使用。OpenAI则反驳称此争议是苹果自身造成的,并否认存在不当行为。

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源研究

NVIDIA与CrowdStrike合作构建自适应智能网络安全系统

NVIDIA与CrowdStrike合作,在隔离环境中评估了一个基于NVIDIA Nemotron模型的智能攻防系统。该系统通过红蓝智能体自动执行攻击、生成检测规则并反复测试,以提升网络安全防御能力。CrowdStrike报告称,其Blue Solano防御模型在内部评估中比领先的专有前沿模型准确率高13%,成本低97%。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

Atos 携手 AWS 为 400 名工程师提供 agentic AI 实践培训

Atos 与 AWS 合作,通过 AWS AI League 活动为 400 名工程师提供 agentic AI 实践培训,涵盖多智能体系统构建、路径规划、护栏、记忆和微调模型。活动采用竞赛形式,使用 Amazon Bedrock、AWS Lambda 等原生服务,旨在提升实际交付能力。该活动帮助工程师从理论转向实践,并为企业开展类似培训提供了参考。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

Amazon Quick 从概念验证到生产的安全架构:代理、流程与空间

AWS 机器学习博客发布了一篇关于 Amazon Quick 安全架构的指南,针对从概念验证到生产环境中的权限与合规问题。文章以 AnyCompany 为例,提出了四种安全模式:数据集整形、代理隔离、文档分类和审批门控,并提供了从数据集创建到审计日志的九步实施步骤。该方案通过数据架构而非仅依赖权限设置来强制安全,旨在帮助企业在扩展用户和部门时保持安全控制。

9月1日周二 · 11 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

t54 在 Amazon Bedrock AgentCore 上构建代理支付信任层

t54 在 Amazon Bedrock AgentCore 上构建了信任层,利用 AgentCore payments 处理了超过 2000 万笔代理发起的交易,无需人工审批。该信任层结合 x402-secure 的实时端点评分和 AgentCore payments 的会话限制、凭证隔离,实现了安全的自主支付。架构通过 IAM 严格分离职责,确保代理无法

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源商业

ZS 借助 Amazon SageMaker 实现安全临时分析民主化

ZS Associates 在 AWS 博客中介绍了其基于 Amazon SageMaker 构建的安全强化型分析平台,该平台服务于 200 多个 SageMaker 域和 500 多名日活跃用户,通过多租户架构、IAM 角色分层、网络隔离和加密等措施,在满足医疗行业合规要求的同时,实现了开发者敏捷性与治理的平衡。平台带来了运营效率提升、成本优化(每月节省约

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

AI 安全初创公司 AIR 融资 5000 万美元,监控 AI 代理技能供应链

AI 安全初创公司 AIR 宣布获得 5000 万美元融资,用于构建监控 AI 代理所用技能、插件和 MCP 服务器的平台。该公司由以色列 8200 部队退伍军人创立,提供代理发现、持续审查和拦截功能,目前已有 20 多家客户。融资由 Sequoia 和 Greenoaks 领投,资金将用于招聘和拓展市场。

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
THE DECODER产品发布

Google AI 搜索因国籍给出不当紧急建议,已修复但仍标记 Facebook 用户

Google 的 AI 搜索(AI Overviews)在用户输入与特定国籍(如非洲人、印度人、巴基斯坦人)独处时,会建议拨打紧急服务电话,而对英国人则建议喝茶和闲聊天气。该问题最初由 Reddit 用户发现,Futurism 测试证实。Google 回应称结果不符合标准,正在修复,并指出“alone”是触发词。修复后,针对国籍的异常建议已消失,但针对 Fa

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

DeepSeek Harness插件生态乱象:1.1万插件仅千个可用,安全机制缺失

雷峰网对DeepSeek Harness插件生态进行了全面调查,发现其1.1万个插件中仅不到1000个可用,官方缺乏治理机制,包括无插件目录、无安全校验等。调查还发现插件权限形同虚设,存在安全风险,且生态中充斥着大量无关或低质量插件。文章指出DeepSeek将工程制品当作产品发布,导致用户需自行承担安全责任,生态可能被老玩家占据。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

GLM 5.3实测:更强但更谨慎,自动化开发易卡壳

雷峰网对智谱最新旗舰模型GLM 5.3进行了实测,通过让其与GLM 5.2开发同一款基于OpenStreetMap数据的北京驾驶游戏,发现GLM 5.3在开发效率、真实感和工程组织能力上更优,但因其更强的安全策略,在自动化工具链中更易触发拒绝判断,导致流程卡顿。

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源产品发布

LiteLLM v1.99.0 发布:镜像签名验证及多项修复

LiteLLM 发布 v1.99.0 版本,所有 Docker 镜像均使用 cosign 签名,并提供了通过提交哈希或发布标签验证签名的方法。该版本包含多项修复和功能更新,涉及类型检查、代理 WebSocket 透传、Bedrock 批量任务取消、MCP OAuth UI 恢复、Azure Content Safety 防护等。

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

平滑Transformer前馈网络的曲率密码分析

该研究提出了一种针对Transformer前馈网络(FFN)的曲率密码分析攻击方法,在仅能进行黑盒查询(选择输入、获取原始输出)的条件下,通过分析投影输入Hessian矩阵,恢复隐藏的FFN第一层权重方向。实验表明,在CIFAR-10视觉Transformer上,该方法能以高对齐度恢复方向,并支持功能提取,构建高保真替代模型。输出舍入和高斯噪声会降低恢复效果

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

Rasch测量理论用于LLM评估:以LLM作为评分者的案例研究

该研究将Rasch测量理论应用于LLM评估,以LLM作为评分者标注仇恨言论为例,分析了九个LLM与人类评分者的差异。研究发现LLM在严重性、项目校准、问题顺序鲁棒性、目标身份敏感性和评分量表使用上系统性地偏离人类,这些差异在标准评估中会被掩盖。作者主张RMT应纳入LLM评估工具箱。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

基于扩散的多智能体STL规划方法

本文提出了一种基于扩散模型的多智能体规划方法 Diff-MA,用于满足信号时序逻辑(STL)规范。该方法通过可微分的 STL 近似在去噪过程中集成梯度,实现了对新公式的泛化,同时保持了与现有学习方法相同的可扩展性,并支持异构规范和团队级规范。实验表明,该方法生成的计划具有多样性,显著减少了智能体间的碰撞等安全违规。