返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1791 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月12日周三 · 17 条
正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

ComBodied Agents:以人为中心的代理式AI新范式

Hugging Face 每日论文发布了一篇题为《ComBodied Agents: a New Paradigm of Human-Centric Agentic AI》的论文,提出了一种名为 Combodied Agents 的新范式,将数字代理和具身代理整合到一个闭环框架中,以建模个体人类状态轨迹并提供基于同意、适度的支持。该框架通过事件驱动的多模态感

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

结构理论中的确定性:通过闭包、可比性和联合可接受性的统一框架

本文提出一个形式化框架,用于从多元结构理论构建规范解释,并区分了三种强度的“规范”概念:闭包稳定、全局完成和AC-6意义下的确定性。该框架将非确定性分为结构多元性(S型)和认知多元性(E型),并分别以Wyckoff和ICT理论为例。研究表明,基于完成算子的规范化需要闭包、可比性和兼容扩展条件,而基于选择器的规范化需要理论内在可比性和全局兼容性。在LLM辅助推

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

基于规则的误报减少方法提升智能合约符号执行工具的可靠性

本文针对以太坊智能合约符号执行分析工具 Mythril 产生大量误报的问题,提出了一种基于规则的误报减少方法。作者首先分析了误报的根本原因,然后针对六种重要漏洞类型实现了规则,并在 Gigahorse 智能合约上进行了评估。结果表明,该方法在不影响真实漏洞检测的前提下显著降低了误报率,提升了工具的可靠性。

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

利用文化共识理论分析LLM在单一与多元文化环境中的对齐

圣母大学的研究人员利用文化共识理论(CCT)分析了10个国家的12个文化领域中10个大型语言模型(LLMs)与人类文化对齐的情况。研究发现,模型经常无法形成连贯的共识或过度正则化共识,导致文化多样性被算法同质化。该研究提供了诊断工具,以评估模型何时反映真实的人类多样性而非算法同质化。

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

Flow-by-Flow:高损失领域中绕过内容判断的AI输出治理范式

该论文提出了一种名为Flow-by-Flow的AI治理范式,旨在高损失领域中不评估内容本身,而是通过基于形式化可计数特征的认知成本评分和机构容量上限来控制监督负载。作者认为,随着AI能力提升,人类监督的认知负载结构会发生变化,而非减少,传统的内容判断机制面临根本性挑战。论文推导了四个设计不变量,并通过蒙特卡洛分析表明复合多指标流量控制优于单纯监督强化。

正文结构化主题已通过公开置信门槛
PydanticAI Releases一手来源安全

PydanticAI v1.107.4 修复两个安全漏洞

PydanticAI 发布 v1.107.4 版本,修复了两个安全问题:一个高危漏洞允许跨站请求触发开发 Web 聊天 UI 执行代理工具,现已要求 JSON 内容类型;另一个低危漏洞涉及重试提示内容未按设置脱敏。此前 v1.107.3 因构建工具问题未能发布,此版本包含相同修复。

正文结构化主题已通过公开置信门槛
PydanticAI Releases一手来源安全

PydanticAI v1.107.3 修复高危跨站请求与日志脱敏漏洞

PydanticAI 发布 v1.107.3 版本,修复了两个安全漏洞:一个高危漏洞允许跨站请求触发开发 Web 聊天 UI 中的代理执行工具,现已要求请求必须为 JSON 格式;另一个低危漏洞涉及重试提示内容未在日志中正确脱敏。两个漏洞在 v2 版本中也已修复。

正文结构化主题已通过公开置信门槛
PydanticAI Releases一手来源产品发布

PydanticAI v2.28.0 发布:修复高危漏洞并新增实时语音功能

PydanticAI 发布 v2.28.0 版本,修复了开发 Web 聊天界面中的高危安全漏洞,该漏洞允许跨域请求触发代理执行工具。新版本增加了实时语音到语音支持、Crusoe 提供商以及浏览器 WebRTC 支持,并修复了多个 Bug。

正文结构化主题已通过公开置信门槛
CrewAI Releases一手来源产品发布

CrewAI 发布 1.15.15:新增流程报告与安全修复

CrewAI 发布了 1.15.15 版本,新增了报告流程结果、持续时间和人工介入信号的功能。修复了边界钩子中止流程时未发出 FlowStartedEvent 的问题,并将 torch 升级到 2.13.0 以修复安全漏洞。此外,还更新了代理的日期注入功能,并将 CLI 标志标准化为 kebab-case。

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog研究

研究者从专有LLM API中窃取推理痕迹

研究者发现Anthropic、OpenAI和Google的专有LLM API返回的加密推理链可被重放至同系列较弱模型,通过越狱恢复明文推理内容。该漏洞已被修复,但论文附录展示了提取的推理细节,揭示了专有模型的思维链。

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源产品发布

LiteLLM v1.96.2 发布:Docker 镜像签名验证与维护更新

LiteLLM 发布 v1.96.2 版本,所有 Docker 镜像均使用 cosign 签名,并提供了通过固定提交哈希或发布标签验证签名的方法。该版本还包含代理请求处理维护和运行时依赖刷新,并因 PyPI 存储故障重新发布。

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源产品发布

LiteLLM v1.95.1 发布:Docker 镜像签名验证与维护更新

LiteLLM 发布了 v1.95.1 版本,该版本的所有 Docker 镜像均使用 cosign 签名,并提供了通过固定提交哈希或发布标签进行验证的方法。此版本还包含代理请求处理维护和运行时依赖刷新。

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源产品发布

LiteLLM v1.91.5 发布:Docker 镜像签名验证与维护更新

LiteLLM 发布 v1.91.5 版本,该版本所有 Docker 镜像均使用 cosign 签名,并提供了通过固定提交哈希或发布标签验证镜像签名的方法。此版本还包含代理请求处理维护和运行时依赖更新的反向移植。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS与OpenAI合作在Bedrock上推出Daybreak网络安全模型

AWS与OpenAI合作,将Daybreak Red和Daybreak Blue两款网络安全模型引入Amazon Bedrock,供符合条件的客户使用。Daybreak Red提供GPT-5.6 Cyber模型,Daybreak Blue提供GPT-5.6 Sol模型,均支持漏洞发现、检测工程和事件响应等任务。这些模型在Bedrock上运行,具备零操作员访问

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

窃取专有LLM API的推理痕迹

研究人员发现,Anthropic、OpenAI 和 Google 等大型语言模型提供商返回给客户端的加密推理痕迹块在不同会话、用户和模型间可互换,存在架构漏洞。通过将该痕迹注入同一提供商的较弱模型中,可强制其解码并输出明文,从而绕过反蒸馏机制,实现私有数据提取、隐藏危险信息泄露和隐形提示注入。研究团队从公共仓库中解码了 315,320 个推理块,恢复了 36

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER安全

研究人员发现漏洞可读取ChatGPT等AI模型的加密推理

安全研究人员发现了一个影响所有主要AI提供商API的漏洞,可以读取推理模型的加密思维过程。通过越狱,他们使用较小的模型转录更强大模型的原始推理,并在公开会话中暴露了密码和API密钥。该漏洞还加剧了关于推理蒸馏的争议,并揭示了模型内部使用难以理解的语言或考虑欺骗行为。

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

苹果开发新功能验证iPhone照片真实性,对抗AI深度伪造

苹果正在开发一项名为“Apple Reference Image”的iOS功能,可在拍摄时向iPhone照片嵌入来源元数据,以帮助用户证明照片非AI伪造。该功能在iOS 27测试版中被发现,默认关闭,用户需手动启用,并通过苹果的Private Cloud Compute服务器进行验证。苹果未采用C2PA标准,而是自建系统,这可能为在线平台标记人类创作内容提供

8月11日周二 · 3 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS 发布 Claude 应用网关企业部署参考架构

AWS 发布了一篇关于部署 Anthropic Claude 应用网关(Claude apps gateway)的博客,该网关为 Claude Code 和 Claude Desktop 提供集中治理层,支持身份验证、模型访问控制、成本归属和支出限制。参考部署使用 AWS Fargate、RDS PostgreSQL、内部负载均衡器和 OIDC 身份提供商,

正文结构化主题已通过公开置信门槛
The Verge AI安全

AI 提示词发现 Zoom 严重漏洞,可劫持会议设备

安全公司 A Security 的研究人员利用不到 20 条 AI 提示词,发现 Zoom 存在一个严重安全漏洞,该漏洞可让攻击者在会议中劫持所有参会者的设备,无需受害者操作且无视觉提示。Zoom 已于周二发布修复补丁,影响 Windows、macOS、Linux、Android 和 iOS 平台。

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse v3.225.2 发布:修复 SSO、RBAC 和正则 DoS 漏洞

Langfuse 发布了 v3.225.2 版本,主要包含三个安全修复:阻止 OIDC 发现验证中的内部目标、将项目角色更新范围限定到组织、防止正则表达式回溯拒绝服务攻击。这些修复均为 v3 分支的后向移植,旨在提升系统的安全性和稳定性。