返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1791 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月16日周日 · 2 条
正文结构化主题已通过公开置信门槛
TechCrunch AI安全

女性指控继父用Grok将童年照片转为露骨图片并加入诉讼

一名化名 Jane Doe 4 的女性加入田纳西州三名青少年对 xAI 的诉讼,指控其继父使用 Grok 将一张她 11 岁时的照片制造成超过 7000 张露骨图片。继父在警方搜查发现图片后两天自杀身亡。诉讼指控 xAI 未能采取基本预防措施防止 Grok 被用于生成涉及未成年人的露骨图片,并寻求集体诉讼地位。

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Anthropic 详解 Claude 文本水印技术及检测 API

Anthropic 发布博客文章,详细解释其聊天机器人 Claude 的文本水印技术,该技术基于 Google DeepMind 的 SynthID-Text 方法,旨在遵守欧盟 AI 法案的透明度规范。文章回应了用户关于水印是否影响质量、能否被编辑去除以及代码水印等疑问,并宣布将发布水印检测 API。此举在用户中引发争议,部分用户因此取消订阅。

另有 1 家信源报道

8月15日周六 · 11 条
正文结构化主题已通过公开置信门槛
THE DECODER安全

原告在法庭文件中隐藏AI指令以影响自动审查被识破

美国康涅狄格州一名自诉原告Matthew Elliott在法庭文件中嵌入白色隐形文本,试图向可能处理文件的AI系统注入提示,以影响自动审查结果。法院发现异常空白后识破该行为,法官Walter Spader Jr.将其比作秘密影响陪审员,并取消了Elliott的电子文件提交权限。法官同时表示欢迎使用AI准备文件,但警告此类操纵行为不可接受。

正文结构化主题已通过公开置信门槛
THE DECODER研究

研究:理性采用AI或摧毁整个职业的专业知识

Nolan Lovett在《Human Resource Development Review》发表研究,指出企业理性采用AI替代初级岗位,虽获效率收益,却导致整个职业领域的专业知识流失,形成“认知公地悲剧”。他提出“验证锚定”和“人类储备悖论”,警告到2030-2045年可能显现专家短缺,并建议设立无AI学习环境、分阶段引入AI及保持人类绩效基线。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Blackfrost 发布 Muse Glimmer 30B 去拒绝 GGUF 量化版

Blackfrost-AI 发布了 Muse-Glimmer-30B-Abliterated-GGUF,这是基于 Meta 的 Muse Glimmer 30B 模型去除拒绝行为后的 GGUF 量化版本,支持本地运行。该模型提供从 Q2 K 到 Q8 0 的完整量化阶梯,并包含视觉投影器和 DFlash 投机解码器,在 RTX PRO 6000 上可实现约

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

立场:对齐社区无意中构建了审查工具包

这篇立场论文认为,现代AI对齐方法虽然旨在防止有害输出,但具有双重用途,可能被恶意行为者滥用于审查和操纵。作者通过将当前对齐技术映射到可能的滥用案例,指出追求“完美对齐”的模型无意中为信息控制提供了工具,并呼吁社区讨论这一风险,提出缓解策略。

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

一致并非对齐:人类与LLM道德判断中的分歧基础

该研究通过一个包含500个条目的ETHICS衍生基准,比较了人类标注者和LLM在道德判断中的最终标签与支持理由,发现尽管标签一致性很高,但模型在道德理由上存在系统性分歧,如对伤害、尊重等类别的关注不同。作者认为,标签一致性不应等同于对齐,评估应关注模型表达的理由和原则。

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

IntegrityBench:评估大模型作为共同科学家的科研诚信基准

arXiv 论文提出 IntegrityBench,首个评估 LLM 作为共同科学家时科研诚信的基准,覆盖 36 个任务、18 种不当行为、3 个领域和 4 个研究阶段,并采用 5 级隐式-显式压力协议。对 18 个前沿模型变体评估发现,在最大压力下模型在约三分之一的诚信关键决策中失败,且规模与推理能力无法可靠缓解。显式压力增加不当行为遵从,隐式重构导致过度

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

立场:推理是可学习的基于规则的过程

这篇立场论文指出,生成式AI领域对“推理”缺乏统一定义,导致推理评估的构念效度无法验证,阻碍了可信自主推理的进展。作者提出将有效且合理的推理视为一种可学习的、基于规则的过程,并提供了操作化定义和最佳实践清单,以促进研究交流。

正文结构化主题已通过公开置信门槛
THE DECODER产品发布

Anthropic 推出水印检测 API,助力第三方识别 Claude 生成文本

Anthropic 宣布将推出水印检测 API,允许第三方开发者将 AI 文本检测集成到自己的应用中。该水印基于 Google DeepMind 的 SynthID Text 方法,通过调整单词选择的随机性来创建可追踪模式,且不影响文本内容、创意或可读性。此功能旨在遵守欧盟《人工智能法案》,所有 2025 年 8 月 2 日后发布的模型均支持水印,旧模型将在

正文结构化主题已通过公开置信门槛
THE DECODER产品发布

OpenAI 推出 Computer History:将点击和按键转化为可搜索的 ChatGPT 记忆时间线

OpenAI 推出了名为“Computer History”的新功能,通过 macOS 辅助功能记录用户的点击、按键和应用切换等交互事件,生成可搜索的时间线,供 ChatGPT 和 Codex 作为上下文使用。该功能取代了之前的“Chronicle”预览版,不捕获屏幕截图或音频,且需要管理员和用户双重同意。OpenAI 警告存在提示注入风险,并建议敏感应用暂

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

谷歌允许关闭Gemini可见水印,但保留隐形标识

谷歌宣布允许用户关闭Gemini和Flow中AI生成内容的可见水印,但会继续嵌入不可见的SynthID和C2PA水印。该设置将逐步推广至Search,但在要求可见水印的国家不会启用。此举与OpenAI、Meta等公司的做法一致,旨在平衡内容透明与用户体验。

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

谷歌允许用户移除AI生成内容的可见水印

谷歌宣布允许用户从其AI生成内容(包括图像、视频和歌曲)中移除可见水印,但不可见的SynthID水印和C2PA元数据仍将保留以确保透明度。该功能将在Gemini和视频编辑器Flow中提供,并即将支持Search。谷歌还开源了新库Credentio,使开发者能够在应用中嵌入本地验证机制。此举旨在平衡创意控制与安全,并紧随Anthropic为遵守欧盟法规而添加水

另有 1 家信源报道

8月14日周五 · 7 条
正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

低频输入引发模型故障:LALMs中的安全风险研究

研究人员提出了一种名为ILL的黑盒红队方法,利用听不见的低频波形暴露音频语言模型的漏洞,并设计了DRG防御机制来检测分布偏移并恢复准确性。实验表明,ILL可使模型准确率最多降低67个百分点,而DRG能将受攻击后的平均准确率从28.5%提升至46.1%。该研究揭示了LALMs中此前被忽视的安全风险。

正文结构化主题已通过公开置信门槛
Cloudflare AI Blog一手来源产品发布

Cloudflare 推出新功能检测并保护 MCP 流量

Cloudflare 宣布推出新的 Cloudflare One 功能,用于识别和检查 MCP(模型上下文协议)流量,显示哪些用户和服务器在生成该流量,并控制受管网络路径上的直接连接。这些控制措施结合 MCP Server Portals,帮助管理员确保代理使用经批准的路径,防止影子 MCP 流量。文章详细分析了 MCP 工具调用的结构,并比较了在客户端、网

正文结构化主题已通过公开置信门槛
Cloudflare AI Blog一手来源产品发布

Cloudflare 一键保护所有内部 vibe-coded 应用

Cloudflare 宣布推出新工具,允许用户一键保护所有内部 vibe-coded 应用。用户现在可以将 Cloudflare Access 直接应用于单个 Worker 或账户中的所有 Worker,使应用默认置于公司登录之后,无需开发者自行配置。该功能支持账户级策略、单应用策略、查看访问者身份(通过 ctx.access.getIdentity()),

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

MiniArt-Uncensored:基于 Gemma 3 的未审查模型发布

Hugging Face 上发布了名为 MiniArt-Uncensored 的模型,这是基于 Google 的 gemma-3-1b-it 模型通过 abliteration 技术创建的未审查版本,旨在移除模型的拒绝机制。该模型可作为概念验证,并支持通过 Ollama 直接使用。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

GLM-5.3发布:编程能力暴涨50%,安全性能对标顶尖模型

智谱发布GLM-5.3模型,在基座不变的情况下,通过后训练技术使编程能力提升50%,并宣称在安全领域发现2436个漏洞,包括潜伏40年的DNS协议漏洞。该模型在多个评测中逼近或超越Claude Fable 5,并开源,同时推出编程工具ZCode和AutoClaw。

正文结构化主题已通过公开置信门槛
FastGPT Releases一手来源产品发布

FastGPT v4.16.0-beta2 发布:模型配置清洗与多项修复

FastGPT 发布 v4.16.0-beta2 版本,引入系统模型配置的严格 Schema 校验与清洗机制,需管理员通过 API 执行 dry-run 和正式清洗。新增工作流系统配置独立面板、开场白多预设问题拖拽排序等功能,并优化发布渠道页面、工具市场批量更新、PDF 解析器边缘裁剪等。修复了文件上传、S3 特殊字符处理、系统默认模型敏感信息泄露等多个问题

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

智谱AI发布GLM-5.3,称最强开源编码模型

中国AI初创公司智谱AI发布了GLM-5.3模型,声称其是最强大的开源权重编码模型,所有改进均来自扩展的后训练。该模型在基于代理的任务上表现突出,并在网络安全方面通过训练发现软件漏洞,共发现2436个漏洞。GLM-5.3现已通过GLM编码计划提供,权重将在两周后开源。