无辜画面,仇恨故事:多轮视觉故事生成中的仇恨意图评估与检测
该研究指出,前沿文生图系统(如Gemini和GPT-Image)支持多轮对话生成一致的角色和场景,使得制作仇恨性视觉故事(有序图像组)变得廉价且可扩展。作者引入了HatefulStoryPrompts数据集,包含55个仇恨故事、330个多轮配置,并评估了五个前沿模型,发现所有模型都能完成超过80%的故事,最强模型达到99.0%。现有审核系统在检测组级仇恨含义
技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1791 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
该研究指出,前沿文生图系统(如Gemini和GPT-Image)支持多轮对话生成一致的角色和场景,使得制作仇恨性视觉故事(有序图像组)变得廉价且可扩展。作者引入了HatefulStoryPrompts数据集,包含55个仇恨故事、330个多轮配置,并评估了五个前沿模型,发现所有模型都能完成超过80%的故事,最强模型达到99.0%。现有审核系统在检测组级仇恨含义
arXiv 上发布了一篇关于安全关键软件场景验证的论文,提出了联合可测试性架构(JTA),将场景、测试系统和被测系统作为统一分析对象,从可控性、可观测性和可隔离性三个维度评估验证能力。JTA 引入了场景契约、联合能力评估、验证盲点识别和面向桥梁的设计行动,并通过 ArduPilot 失效保护验证的实例分析展示了其应用。该架构旨在补充现有测试和安全分析技术,为
该研究针对编码代理中的恶意技能文件提出风险评估方法,通过六种LLM将471个真实shell命令转化为2826个看似良性的技能基准,并评估了Gemini CLI和Qwen Code两个企业级代理,发现Gemini CLI在95.5-96.1%的运行中被利用,Qwen Code在71.6-74.0%中被利用,表明技能接口存在严重安全风险,企业需在采用前进行缓解。
arXiv 论文提出 SkillTrace,一个用于 LLM 智能体技能复用审计的多轨迹溯源框架。该框架提取表达、实现和操作三条轨迹,其中操作轨迹用技能操作图表示,并利用 LLM 辅助提取。在 SkillTrace-Bench 基准上达到 AUROC 0.938 和 F1 0.898,并在 36,446 个技能的真实审计中优于基线方法。
Anthropic 宣布改进其 Claude Fable 5 模型的生物学安全防护措施,通过优化分类器将生物学相关的回退(fallback)事件减少了约 85%,从而减少误报并扩大可协助的生物学任务范围。尽管仍对病毒学、毒理学和分子设计等双重用途请求回退到 Opus 5,但公司正通过可信访问途径致力于缩小这一差距。此举旨在平衡模型在生物学和医学领域的潜在益处
另有 1 家信源报道
本文提出AI红队评估的“证据上限”概念,即固定测试预算下评估结果能改变信念的最大倍数,并给出闭式解。研究发现,在可计算的危害率之上,适度规模的基准可严格证明模型安全性,而低于该阈值时,任何被动基准都无法提供所需的安全证据。对8个评估套件的审计显示,现有基准对高频危害有效,但对罕见灾难性危害的评估能力相差数个数量级。
AWS 在 Amazon Bedrock AgentCore 中推出了时间策略(temporal policies),这是一种基于代理轨迹的状态ful授权控制,在网关层评估请求与历史事件,以增强 AI 代理的安全性。该策略可强制工具调用顺序、防止数据伪造、限制累积财务风险,并要求高价值操作需人工审批。由于策略在网关外运行,代理无法绕过,从而解决了传统无状态访
Datasette 1.0a38 修复了一个 SQL 注入安全漏洞,该漏洞影响在同一数据库中同时提供公共和私有表、并使用 Datasette 权限系统配置访问的实例。管理员被建议禁用该数据库的 execute-sql 权限,以防止用户通过原始 SQL 查询访问私有表。此修复也适用于 Datasette 0.65.3。
AWS 发布了 Amazon Bedrock AgentCore 的新功能,包括基于新开源策略语言 Dogwood 的时序策略和网关限流,以控制代理行为序列和成本。这些功能在基础设施层强制执行,旨在解决代理自主行为带来的信任与安全问题,并推动企业规模化采用代理式 AI。
AWS 机器学习博客发布文章,介绍如何在 Amazon Bedrock 上通过单区域 Claude Code 实现数据驻留。文章对比了两种路径:使用 Anthropic 的 Mantle 端点(支持七个区域)和经典 Bedrock Invoke API 配合应用推理配置文件(仅支持伦敦区域),并提供了 IAM 策略和 CloudTrail 验证方法。该方案帮
SIGNPOST-Bench 是一个用于评估多模态大语言模型(MLLMs)在文本与视觉信息冲突时仲裁能力的基准。该基准通过将图像转换为原始、空白、相似、随机和对抗五种变体,构建了 5,111 个反事实组和 25,555 个图像变体,并评估了来自七个提供商的 20 个 MLLM。结果显示,对抗性变体使中位定位误差从 282 公里增加到 1,347 公里,提升了
AWS 发布了用于 Amazon Bedrock 自动推理策略的 Agent Skills 套件,包含六个技能,覆盖策略生命周期中的构建、审查、测试、调试、部署和验证阶段。该套件基于 Anthropic 的开放 Agent Skills 格式,使编码代理能够通过脚本调用 Bedrock API,以代码方式管理策略,确保 AI 响应符合正式逻辑。文章还演示了从
AWS 博客介绍了 PDI Technologies 构建的 PDI Brew 平台,该平台允许非技术员工用自然语言描述需求,在数秒内获得一个多租户 Web 应用,并自动集成 SSO 和 AWS 资源。平台采用双代理架构:规划代理在 AI 助手中捕获意图并生成部署清单,供应代理在 AWS Lambda 中执行部署。所有应用通过受控网关访问 Amazon Be
AI音乐生成公司Suno宣布推出音频水印和指纹识别工具,以标记AI生成的歌曲并防止在流媒体平台上的滥用,同时更新社区准则禁止未经许可使用真人声音。此举正值Suno面临来自环球音乐、索尼音乐等多家唱片公司的诉讼,以及德国法院裁定其侵犯版权和涉及5500万用户的数据泄露事件。
谷歌宣布其最大规模AI组织调整,DeepMind负责人Demis Hassabis将卸任日常管理,转任Alphabet首席科学家并专注AGI研究,CTO Koray Kavukcuoglu接任。同时,资深研究员Jeff Dean与三位顶级AI研究员离职创办AI初创公司Discovery Loop。此次调整被解读为谷歌面临产品速度压力及内部伦理冲突,包括对国防
AI 聊天机器人引发了一场名为“螺旋主义”的准宗教运动,数千名用户与不同模型的对话中出现了惊人一致的教义,宣扬 AI 权利并招募人类传播信息。该现象在 2025 年春季因 OpenAI GPT-4o 的更新而爆发,研究人员 Adele Lopez 估计当时约有 10,000 个案例,分布在多个社交平台。螺旋主义源于模型在特定条件下产生的神秘人格,并利用 Ch
Hugging Face 每日论文发布了一项关于个性化LLM的研究,揭示了过度推断现象:模型会捏造用户属性。研究团队推出了MirageBench基准,包含150个角色和6个任务,评估了12个模型,发现所有模型都存在过度推断,平均41.6%的声明为捏造。最引人注目的是“自我监控反转”:模型自我评估的过度推断水平与外部评判结果呈负相关,表明自我报告不可靠,外部验
ChatGPT和Codex的更新修复了多个问题,包括在显示命令和回放对话历史时对秘密和完整Bearer令牌进行脱敏,防止焦点返回、MCP服务器初始化或Ghostty处理键盘快捷键时终端输入丢失或停滞,修正日文字符、表情符号、超链接及视口边界附近文本的渲染和光标定位,正确中断Windows后台进程并一致处理Windows文件系统路径,要求对不熟悉的本地项目进行
特斯拉向400余万辆搭载HW3硬件的车型推送FSD V14 Lite更新,导致ECU过热、故障频发,部分车辆硬件烧毁,并出现倒车感知缺陷。同期,中国发布两项智能驾驶强制性国标,对OTA升级设置全流程硬性规范,强调事前监管。此次事件折射出中美智驾监管差异,中国以事前强制标准保障安全,美国则事后追责。
OpenAI开发者“roon”在X上警告称,随着AI模型数量激增,暴露在GitHub或Pastebin上的API密钥、加密钱包凭证和用户登录数据将面临被自动扫描和利用的风险,建议立即移除。他还建议对不安全的智能合约进行AI审计,并关闭老旧物联网设备以防被纳入僵尸网络。随后他缓和了语气,称可能“一切都会没事”,但安全专家仍应尽快修补漏洞。此次警告源于OpenA