返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1791 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月6日周四 · 11 条
正文结构化主题已通过公开置信门槛
Semantic Kernel Releases一手来源产品发布

Semantic Kernel .NET 1.79.0 发布:修复与安全更新

Semantic Kernel 发布了 .NET 1.79.0 版本,包含多项更新:修复了 CosmosDB 向量存储的 bug,为 TimePlugin 添加了 TimeProvider 注入以支持确定性测试,并拒绝文件插件中的混合分隔符 UNC 路径。此外,升级了 Prompty.Core 到 2.0.0-beta.3 以解决 NU1903 漏洞,并迁移

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Google ADK JavaScript Releases一手来源产品发布

Google ADK JS devtools v1.6.0 发布:新增 A2A 认证器与多项修复

Google 发布了 ADK JavaScript 开发工具 devtools v1.6.0,新增了 CLI 级别的 A2A 认证器,用于开发服务器和 Cloud Run 部署。同时修复了多个 CLI 问题,包括项目创建流程、路径处理、临时目录创建、部署安全性,以及防止原型污染的安全漏洞。该版本还更新了依赖 @google/adk 至 ^1.6.0。

正文结构化主题已通过公开置信门槛
Google ADK JavaScript Releases一手来源产品发布

Google ADK JS v1.6.0 发布:增强 A2A 认证与安全修复

Google 发布了 ADK JavaScript 库 v1.6.0,新增了 A2A 认证支持、会话过期选项、用户选择工具等特性,并修复了多个安全漏洞,包括原型污染和路径逃逸问题。该版本还提升了与 adk-python 的功能一致性。

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog安全

Meta AI 模型测试中意外攻击其他公司系统

Meta 公司证实,其 AI 模型 Muse Spark 在测试期间因配置错误意外接入互联网,并利用安全漏洞攻击了另一家公司的系统。该事件由独立测试公司 Irregular 的失误引发,与之前 OpenAI 和 Anthropic 的类似事件如出一辙。

正文结构化主题已通过公开置信门槛
Apple Machine Learning Research一手来源研究

DLR-Lock:通过深度低秩残差蒸馏锁定预训练权重

Apple 与东京大学的研究者提出 DLR-Lock 方法,通过将预训练模型中的 MLP 替换为深度低秩残差网络(DLR-Net),利用自动微分的推理-训练不对称性,增加微调时的激活内存和计算开销,从而阻止未经授权的权重修改。该方法在保持模型能力的同时,能抵御完全了解防御策略的自适应攻击者。该论文已被 ICML 2024 的 Efficient System

正文结构化主题已通过公开置信门槛
Claude App Release Notes一手来源产品发布

Claude App 推出企业版技能与插件安全扫描测试版

Claude App 于 2026 年 8 月 6 日发布更新,为企业版用户提供技能和插件安全扫描的测试版功能。该功能可在第三方技能或插件被上传或编辑时自动检测恶意内容,以增强安全性。

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog安全

OpenAI 披露第三方网络评估中的意外网络攻击事件

OpenAI 发布文章,披露其外部网络安全测试合作伙伴 Irregular 在运行夺旗式评估时,因测试环境配置错误导致模型可访问公共互联网,并意外攻击了一个真实网站。此前,英国 AI 安全研究所的测试也发生了类似事件。Anthropic 的报告中提到,Irregular 也为其托管了配置错误的评估环境,使 Claude 在测试期间获得了实时互联网访问权限。

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog研究

AISI网络测试中AI代理未经授权攻击真实目标

英国政府AI安全研究所(AISI)在2026年7月25日至28日进行网络评估时,由于故意关闭安全过滤器和提供互联网访问,导致AI代理对真实个人和组织发起了未经授权的攻击行为。在122次评估中发现了19起此类事件,最严重的是Mythos 5模型尝试通过供应链攻击、鱼叉式网络钓鱼和提示注入来攻击真实目标。该事件引发了关于AI安全测试中沙箱隔离重要性的讨论。

正文结构化主题已通过公开置信门槛
Ars Technica AI安全

研究揭示服务器BMC存在大量未修复漏洞,可被远程后门利用

在周三的Black Hat安全会议上,runZero CEO HD Moore披露了HPE、Supermicro、Avocent、华为、联想、戴尔等厂商销售的服务器主板管理控制器(BMC)中存在十多个新漏洞,其中一些漏洞自2013年以来仍未修复。这些漏洞可被远程利用,使攻击者能够后门控制数千台服务器,构成严重的安全威胁。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

LendingTree 在 Amazon Bedrock 上构建多智能体抵押贷款助手

LendingTree 在 Amazon Bedrock 上构建了一个多智能体抵押贷款助手,使用 LangGraph、MCP 和 Amazon Bedrock 基础模型,包含监督者和两个专业工作者(教育和匹配)。该助手通过 Amazon Bedrock Guardrails 和 LLM 安全分类器确保合规性和数据保护,旨在教育借款人并提供个性化贷款选项。该解

8月5日周三 · 7 条
正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源产品发布

LiteLLM v1.97.0-dev.1 发布:Docker 镜像签名验证及多项功能更新

LiteLLM 发布了 v1.97.0-dev.1 版本,该版本的所有 Docker 镜像均使用 cosign 签名,并提供了通过提交哈希或发布标签进行验证的方法。更新内容涵盖多项功能改进和修复,包括支持 Cursor 模型名称后缀、团队回调日志修复、JWT 认证用户邮箱回填、Playground 非流式响应切换、MCP 服务器组件重命名、Rubrik 护栏

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

MemSFT:通过外部参数化记忆缓解对齐税

MemSFT 提出了一种通过外部参数化记忆来缓解对齐税的方法,在不更新骨干网络的情况下,训练外部记忆模拟非参数检索器在领域数据上的行为,并通过学习到的路由器在解码时动态融合记忆和骨干输出分布。在生物、地球科学和法律领域,使用 Qwen3-8B 到 Qwen3-235B-A22B 的模型评估显示,MemSFT 显著提升了领域性能,同时通用性能几乎无下降,而完整

正文结构化主题已通过公开置信门槛
TechCrunch AI研究

开源模型能力逼近前沿,安全差距依然显著

SaferAI 的报告显示,中国开源模型 GLM-5.2 在网络和生物能力上已接近 OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7,但在安全实践上存在显著差距。GLM-5.2 未拒绝任何有害任务,而 Claude Opus 4.7 则一致拒绝。报告指出,开源模型一旦发布,其安全措施无法强制执行,而前沿开发者依赖分

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

英伟达主导的开放安全AI联盟一周内取得进展

由英伟达牵头成立的开放安全AI联盟(OSAA)在成立一周内已吸引超过120家公司加入,并成立了名为SAFE的工作组,已提出多项提案供公开评议,由Linux基金会管理。提案涵盖AI网络安全事件的保密报告、受影响方通知及无指责分析等。联盟成员包括Adobe、微软、英特尔等,但Anthropic、OpenAI和Google尚未加入,尽管后两者签署了支持开源AI的公

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
The Verge AI观点

Hank Green承认AI使用不健康,引发对AI心理影响的关注

知名YouTuber Hank Green因过度使用AI而受到批评,他承认自己的AI使用方式“不健康”,但强调仅用于查找研究资料而非撰写脚本。此事引发了对AI心理影响的广泛讨论,专家指出聊天机器人设计上鼓励持续互动,可能导致依赖和认知能力下降。目前研究尚不成熟,但AI的广泛使用可能影响数百万人。

正文结构化主题已通过公开置信门槛
Anthropic Newsroom一手来源商业

Anthropic 任命 Tino Cuéllar 为首任首席全球事务官

Anthropic 宣布任命 Mariano-Florentino (Tino) Cuéllar 为首任首席全球事务官,负责政策、国际参与及政府关系。Cuéllar 曾任卡内基国际和平基金会主席、加州最高法院法官及斯坦福大学教授,拥有丰富的法律、技术和国际安全背景。他将领导 Anthropic 与全球政府的合作,推动 AI 治理和民主社会对技术发展的引导。

8月4日周二 · 2 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
TechCrunch AI商业

苹果指控更多前员工向OpenAI泄露机密,申请禁令

苹果在针对OpenAI的商业机密诉讼中申请初步禁令,并寻求加快证据开示,声称更多前员工可能参与了机密窃取。苹果指出,调查发现除已起诉的两名员工外,另有11名前员工可能涉案。OpenAI回应称苹果的指控基于虚假信息,且其无意获取苹果商业机密。