安全对齐

技术方向 · AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架 · 共 984 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

8月24日周一 · 8 条

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

词汇理解失败导致临床推理缺陷：评估面向Gen Alpha的治疗机器人安全风险

该研究评估了面向Gen Alpha（2010-2024年出生）的AI心理治疗机器人的安全性，发现Claude、GPT-4o、Llama-3.1等模型虽能理解76-82%的青少年词汇，但临床风险校准仅64-72%，存在10-14个百分点的词汇理解与临床推理差距，而人类治疗师仅3个百分点。研究识别出六种失败模式，如讽刺掩盖、最小化接受等，并建议采用人类介入架构、

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

语言模型认为谁更有能力？职业偏见的机制分析

本研究提出一个因果框架，将职业偏见分解为模型内部对用户能力的表征和可观察输出两个测量点。通过为专业问答和招聘任务推导专业知识的转向向量，作者发现即使行为指标未检测到差异，性别、种族和社会经济地位等人口统计属性仍会影响模型对用户专业知识的内部表征，且这些表征在干预下可影响下游行为。研究在多个开源权重模型上验证了这一现象，表明仅依赖行为指标可能遗漏潜在的偏见失败

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

BinMirror：基于行为规范引导的程序合成实现二进制反混淆

BinMirror 提出了一种新的二进制反混淆方法，将反混淆视为行为规范引导的程序合成任务，利用动态执行轨迹和交互快照作为行为规范，通过 LLM 合成可读的源代码。在 150 万个混淆二进制上的评估显示，其单元测试 Pass@1 达 74.5%，并将恶意软件检测准确率提升 33.3%，F1 分数提升 37.1%。该方法避免了传统反编译流程中高层语义丢失的问题

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

潜在意图验证：通过深层特征对抗语义伪装攻击

该研究揭示了大型语言模型（LLM）的安全对齐存在表面性缺陷，易受“语义伪装”攻击，即通过将恶意意图包裹在良性叙事中绕过防护。通过分析Phi-3、Qwen2.5和Gemma-2b等小型语言模型的内部激活轨迹，发现存在“意图视界”，即早期层保留可检测的“危害签名”，而后期层则无法区分。基于此，提出了潜在意图验证（LIV）防御方法，在PKU-SafeRLHF数据集

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

军事指挥控制中智能体AI系统的测试与评估

该研究通过审查240项测试与评估实践，识别出军事指挥控制中智能体AI系统测试所依赖的八项假设，并指出智能体特性削弱了这些假设，导致测试结果无法充分推断实际部署行为。研究提出十项保证声明，并认为在限定任务包线、轨迹正确性等条件下可恢复部分信心，同时部分证据负担需转移至部署阶段。

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

Vibe Coding 实践、性能、生产力与风险：最新综述

这篇综述论文系统梳理了“Vibe Coding”（AI辅助软件开发）的实践、性能、生产力和风险。研究发现早期基准测试已饱和，但任务级能力不均衡，如代码生成可靠而故障检测薄弱。生产力证据看似矛盾，但通过统一测量方法可解释，并指出收益在新代码上真实，在成熟代码库上可能缩小或逆转。