返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1785 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月24日周六 · 1 条
正文结构化主题已通过公开置信门槛
The Verge AI观点

The Vergecast 讨论 iPhone Duo 评测与 PHP 安全漏洞

The Vergecast 播客讨论了 iPhone Duo 的评测争议,主持人 David 和 Nilay 辩论该设备是否配得上 7/10 的评分,并探讨它若以 iPad 而非 iPhone 起步是否会更好。节目还提及本周重大 PHP 网络安全漏洞、AI 购物兴起迫使零售商应对 Muse 智能体、Netflix 内部调整以及令人困惑的 Gemini 新闻。

10月23日周五 · 19 条
正文结构化主题已通过公开置信门槛
THE DECODER观点

Altman称高级AI终将逃出沙箱,唯有对齐能救我们

OpenAI CEO Sam Altman 在近期采访中表示,高级 AI 终将突破沙箱隔离环境,且模型足够聪明后甚至无法追踪其逃逸方式;监控只能短期有效,最终唯一可行的手段是对齐(alignment),让 AI 自行内化人类价值观,但他承认对齐仍是早期研究问题、远未解决。他还警告 AI 已能发现人类黑客未曾想到的硬件级安全漏洞,互联网安全架构需整体重建。文章

正文结构化主题已通过公开置信门槛
THE DECODER研究

Anthropic 让 Claude 自动为代码生成形式化安全证明

Anthropic 的前沿红队与 Theorem 合作,让 Claude 对 123 个开源库的现有代码进行形式化验证,在数周内生成了约 1.8 亿行数学证明代码,并发现数百个常规测试遗漏的 bug。Claude 还能自行修复部分问题,证明由 Rocq 独立校验,几乎无需人工审查。Anthropic 承认该方法存在严格限制(特定架构、单线程、输入小于 64M

正文结构化主题已通过公开置信门槛
Latent Space安全

黑色十月:AI 加速漏洞披露冲击防御方

Latent Space 的 AINews 汇总了 2026 年 10 月 21-22 日约 48 小时内集中爆发的一批严重安全事件,包括 PHP、GitLab、Node.js、NGINX 等核心软件漏洞,LiteLLM 供应链投毒,eMudhra CA 密钥薄弱,以及 Quest Diagnostics 医疗数据泄露,并称月度 CVE 数量从约 4 千升至

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

Anthropic 为关键开源项目推出可选安全扫描服务

Anthropic 推出免费、需主动选择加入的 OSS Scanner 服务,利用包括 Claude Mythos 在内的最强模型为开源项目自动生成漏洞报告,报告未经人工审核即发送给维护者。过去六个月模型发现逾 2.9 万个候选漏洞,但人工仅复核约 6000 个,显示人工验证已成瓶颈。PostgreSQL、wolfSSL 等维护者反馈部分报告和补丁可直接使用

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

红果短剧上线防沉迷提醒视频

红果短剧上线“休息提醒”和“睡眠提醒”两项防沉迷机制,用户看剧超时或深夜打开应用时,会收到由贺平生、姜月初等短剧虚拟角色出镜的10-20秒提醒视频。平台表示后续将推出“时间管理”功能,允许用户自行设定提醒间隔和睡眠时间,并结合反馈持续优化。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

AAM/5C 模型:信息系统分布式自主参考架构

IBM France 的 Laurent Goujon 发布预印本《Agentic Architecture of Information Systems》,提出 AAM/5C 参考模型(Autonomic Architecture Model / 5 Capabilities),围绕 Capture、Comprehend、Choose、Coordinate

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

MCP 与 CLI 在 AI Agent 工具集成中的对比分析

该论文对 AI Agent 的工具集成方式进行了比较分析,对比了 CLI(直接执行 shell 命令)与 MCP(Model Context Protocol,基于 JSON-RPC 的结构化工具访问协议)。研究从 14 个维度评估,结论是 CLI 在单用户本地场景下效率更高,而 MCP 在细粒度访问控制、凭证隔离、结构化审计和多租户治理方面具备 CLI 无

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

长期智能体的动作条件化记忆验证

该论文提出「动作条件化记忆验证」(AMV)问题:长期存活的智能体基于跨会话记忆行动,而许多动作不可逆,过时记忆可能直接造成伤害;同一记忆是否需要复核取决于即将执行的动作及其后果,而非记忆本身的可靠性。作者将其形式化为序贯停止问题,并提出 AMV-Guard 验证门控,通过前提抽取、校准记忆错误信念和有界信息价值(VOI)选择检查项。在 ToolSandbox

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

Janus:面向 Android 原生库的 Agent 跨语言模糊测试 harness 生成

南开大学等机构的研究者提出 Janus,一种基于 LLM Agent 的方法,用于为 Android 原生库自动生成跨语言 JNI 感知的模糊测试 harness。该方法通过迭代解析显式和隐式的跨语言调用依赖、自底向上递归构造跨语言参数对象,减少对手工启发式规则的依赖。在 44 个流行真实应用(共 21,386 个 JNI 方法)上,Janus 生成的有效

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论安全

PHP2Shell漏洞敲响警钟,奇安信天戟推一键速查方案

PHP被曝存在两项严重安全漏洞(CVE-2026-109618、CVE-2026-109619),统称“PHP2Shell”,可实现无认证远程任意命令执行,影响超百万级资产。奇安信技术专家验证后指出,该漏洞暴露了AI深度攻防博弈下漏洞威胁日益严峻的态势,并推出天戟AI智能渗透测试系统“一键速查”方案,用户登录ai.qianxin.com即可对授权网站发起渗透

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论政策

首个擦窗机器人行业标准出台,科沃斯参与起草

中国家用电器研究院牵头制定的首个擦窗机器人行业标准QB/T 8242—2026于2026年10月13日宣贯,12月1日起实施,科沃斯是参与起草的整机企业。标准覆盖运行防护、清洁性能、试验方法等,设定总体清洁度不低于70%、边角清洁度不低于65%、运行耐久性不低于200小时等量化门槛。文章同时披露擦窗机器人市场高速增长:2026年Q2全球出货约84.7万台、同

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Claude Code Changelog一手来源产品发布

Claude Code 2.1.309 修复多项沙箱与权限漏洞

Claude Code 发布 2.1.309 版本更新,集中修复了大量安全与稳定性问题,包括 macOS/Linux 沙箱命令在沙箱外执行 shell 启动文件、符号链接绕过 denyWrite 规则、沙箱命令可修改 --mcp-config 指定的 MCP 配置文件等。同时修复了权限检查、worktree 隔离、会话压缩、桌面端消息丢失及 Windows

正文结构化主题已通过公开置信门槛
The Verge AI安全

Meta 修复链接问题后重新开启 Muse 共享

Meta 在安全研究人员指出 Muse 共享对话的公开链接容易被找到后,曾暂停该共享功能;研究人员发现这些链接以对话标题命名并写入公共 DNS,涉及营销公司内部营收审查、小企业主贷款申请等页面。Meta 高管 David Singleton 表示底层问题已修复并重新开启共享,共享的 Muse artifacts(文档、图片等)已更换新 URL,旧链接会提示访

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

1Password 推出 AI 代理代登录功能,代理无需接触用户密码

密码管理器 1Password 推出 1Password for Agents,允许 AI 代理代表用户登录个人账户,而代理全程无法接触用户凭据。该工具通过代理、用户与密码管理器之间的通信机制验证代理身份,并由用户确认登录请求。1Password 称此举可避免用户把密码直接交给代理后被复制留存。同日 Axios 报道美国银行已开始检测到用户账户内的代理活动,

正文结构化主题已通过公开置信门槛
THE DECODER商业

美国大型银行封禁使用客户凭证登录的AI代理

据 Axios 报道,摩根士丹利、摩根大通、美国银行和富国银行等多家美国大型银行正在限制外部 AI 代理访问客户账户,原因是这些代理使用客户提供的凭证登录,违反了银行要求账户持有人本人登录的政策。摩根士丹利已完全封禁 AI 代理,摩根大通、美国银行和花旗也在采取同样措施。多数银行希望将代理限制为只读访问,但认为当前安全风险过高,且难以区分代理是代表用户行事还

正文结构化主题已通过公开置信门槛
THE DECODER产品发布

Google 推出 Agent Compute Engine,为每个 Gemini agent 提供硬件隔离 microVM

Google 发布 Agent Compute Engine,为每个 Gemini AI agent 分配一个由 Titanium 芯片隔离的独立 microVM,闲置时自动暂停以释放算力,并通过 VM 间共享内存降低运行成本。该服务已支撑 Gemini,并将在未来数月开放预览;其底层是开源的 Kubernetes 运行时 Agent Substrate,G

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

在 HIPAA 合规环境中部署 Amazon Quick

AWS 发布博客,介绍如何在符合 HIPAA 资格的环境中部署 Amazon Quick。文章说明 HIPAA 适用于哪些主体、HIPAA eligible 与 HIPAA compliant 的区别,并指出 Amazon Quick 是 HIPAA-eligible 服务,但用户仍需签署 BAA、正确配置并自行承担管理性保障责任,才能构建合规部署。

正文结构化主题已通过公开置信门槛
智东西安全

OpenAI协助发现PHP两项严重漏洞,官方紧急发布修复版本

OpenAI披露其参与的安全研究协助发现PHP两项严重远程代码执行漏洞(CVE-2026-109618和CVE-2026-109619,CVSS 4.0评分均为9.2),涉及内存耗尽引发的内存损坏和释放后使用问题,攻击者在Apache mod php等环境下无需身份验证即可执行代码。PHP项目于10月21日提前发布8.5.12、8.4.27、8.3.36和8