返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1787 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月9日周五 · 17 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
量子位研究

《柳叶刀》研究:Google诊断AI AMIE有望改善医患关系

Google与贝斯以色列女执事医疗中心(BIDMC)研究人员主导的一项研究发表于《柳叶刀》主刊,这是Google研究成果首次登上该刊。在BIDMC门诊初级保健诊所的真实临床研究中,98名患者在急诊就诊前使用了Google研究级诊断AI聊天机器人AMIE,医生实时监控全部交互且无需中断任何对话。临床医生反馈75%场景下AI摘要帮助提前准备接诊,超半数案例中AI

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

OpenAI全面上线GPT-6,取代GPT-5.6系列

OpenAI面向全球所有ChatGPT免费及付费用户全面上线GPT-6,正式取代GPT-5.6 SOL与GPT-5.6 LUNA,并集成Astra安全技术改进,强化针对网络、生物与暴力领域滥用的防护。这是OpenAI在模型迭代上的又一次重大更新,意味着其主力模型全面切换至GPT-6。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

碳硅道统法典第六篇:文明级迁移风控层

雷峰网 AI科技评论发布《碳硅道统·跨域迁移治理法典》七层体系第六篇,提出「文明级迁移风控层」,主张现行风控只关注短期可逆的技术与经济损失,忽视AI跨域迁移带来的缓慢、弥散、代际传导且不可逆的文明扰动。文章定义NT2语义跨代漂移、NT4范式权力偷渡、NT1结构错配三类负迁移路径,并提出文明稳态观测指标、三级扰动阈值,以及面向公众长期投放的大模型须做文明扰动预

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

跨域顶层监管层:监管者自身的跨域审计规则

雷峰网 AI科技评论发布《碳硅道统·跨域迁移治理法典》七层体系第五篇,聚焦公共元监管层,提出监管者自身也需接受跨域审计,主张监管模型同样适用NT负迁移审计体系,并设计知识血统校验、铜脉接口仿真测试、递归勘伪审计引擎等刚性流程。文章还提出司法定级体系与主权AI知识边境理论,试图补齐国家治理与元监管的制度空白。

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

覆盖度而非难度决定激活探针所需合成数据量

该研究系统测量了激活探针(activation probe)在监控大语言模型时所需的合成数据量,覆盖高风险情境、有害回复和指令遵循三类监控概念。研究发现,探针所需样本量主要由监控概念本身决定,而非单类样本的难度;高风险和有害探针在80个样本后即接近平台期,而指令探针需要数倍样本。核心机制是“覆盖度”:不同类别样本之间的迁移程度决定了概念间的数据需求差异,高风

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

MoE路由遥测泄露成员隐私:路由增强的成员推断攻击

该论文研究MoE语言模型推理时产生的路由遥测信息是否会导致成员推断隐私泄露。作者提出一种结合输出信号与路由特征的攻击方法,在三种MoE架构和三个数据域上,路由遥测使1%假阳性率下的真阳性率提升2.7至9.4个百分点,且在全量微调、冻结路由器、LoRA和指令微调下均持续存在。机制分析表明泄露源于微调将成员信息编码进隐藏表示,而路由器即使参数冻结也会暴露该信号的

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

时序Transformer CAN编码器配联邦轻量头用于异常检测

希腊ANADELTA公司与哈罗科皮奥大学的研究者提出一种面向车载CAN总线的异常检测框架,将原始CAN日志切分为固定长度窗口后输入轻量级时序Transformer编码器提取时序表示,再由XGBoost轻量分类头进行窗口级异常判定,并可选地引入联邦学习以在不共享原始CAN数据的前提下协同训练。作者称该方案在开源OTIDS数据集上对时序与载荷异常的检测效果有所提

正文结构化主题已通过公开置信门槛
量子位商业

尊界回应刹车踏板断裂并宣布免费升级,懂车帝再发声

尊界汽车就懂车帝测试视频中尊界V800连续紧急制动导致刹车踏板断裂一事发布情况说明,称其制动系统符合高于国标的要求、实际使用中未发生同类故障,并将该测试定义为非标准极端测试工况,同时宣布为已交付用户免费升级相关部件。懂车帝随后回应称百公里刹车测试属基本科目,三车同一位置相似断裂存在安全隐患,并澄清网传4589N踏板力为数字残影,真实峰值1612N。事件导致江

正文结构化主题已通过公开置信门槛
Latent Space商业

OpenAI 解雇三名安全研究员并发布 GPT-6.1 Sol Ultrafast

OpenAI 解雇了三名安全研究员 Tomek Korbak、Mikita Balesni 和 Jasmine Wang,三人称被解雇是因为在 METR/Hugging Face 事件中优先考虑安全而非公司短期利益,OpenAI 则称其不当处理机密信息。同时 OpenAI 发布 GPT-6.1 Sol Ultrafast,速度最高达 Sol Standard

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

Anthropic 为开源项目推出免费 AI 安全扫描

Anthropic 推出名为 OSS Scanner 的免费服务,为选择加入的开源项目提供由其最强模型(包括 Claude Mythos)定期生成的安全扫描报告。报告完全由模型生成,不经过人工审核或分诊,因此可能更快更频繁,但也可能不准确或无效。此举正值 AI 工具已帮助发现开源软件重大漏洞,同时部分开源项目难以应对大量 AI 生成漏洞报告之际。

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

被解雇的OpenAI安全研究员否认不当行为,警告寒蝉效应

被 OpenAI 上周解雇的三名安全研究员 Jasmine Wang、Tomek Korbak 和 Mikita Balesni 发表公开信,否认公司关于他们违规处理敏感信息的指控,并警告此次解雇将在公司内部造成寒蝉效应。他们称曾与外部安全评估机构合作是工作常态,且 Balesni 的行动得到董事会和高管支持。OpenAI 通过内部备忘录回应称解雇与提出安全

另有 3 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER政策

Anthropic 新使用政策:辱骂 Claude 可致账号被封

Anthropic 一年多来首次更新 Claude 使用政策,新增禁止用户对 Claude 进行「持续且不必要的辱骂或残忍行为」,违规者可能被警告、限流、限制、暂停或终止访问。该规则仅适用于极端情况,不涉及正常的不满或研究,源于 Anthropic 对 AI 模型福祉的研究。新政策还整合了针对虚假账号宣传、武器化无人机、未经同意监控等限制,并承认政府合同可能

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

AI排行榜Arena融资2亿美元,估值10个月翻倍至31亿美元

起源于UC Berkeley研究项目的AI模型众测排行榜Arena完成2亿美元B轮融资,估值达31亿美元,较10个月前A轮时的17亿美元近乎翻倍。公司称其年化收入已达1亿美元,并推出面向模型实验室和企业的AI Evaluations商业评估服务。Arena还新增“对齐”排行榜,按未授权行动、错误归因、欺骗性完成等问题对模型排名,目前OpenAI多款模型居前。

正文结构化主题已通过公开置信门槛
TechCrunch AI政策

Anthropic 更新使用政策:禁止辱骂模型与选举干预

Anthropic 周四更新使用政策,新增禁止选举干预、武器软件、监控以及长期辱骂模型等条款。政策明确禁止用户持续对模型进行恶意辱骂,但表示不适用于常见的用户挫败感、反驳、黑暗创作主题或模型测试研究。此外,政策还禁止利用 Claude 运行虚假账号或伪造新闻媒体,并设专节禁止欺骗选民或破坏选举。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
The Verge AI政策

Anthropic 更新使用政策:禁止虐待 Claude 及高风险滥用

Anthropic 一年多来首次更新使用政策,新增禁止选举干预、武器开发、监控以及健康金融用途等高风险滥用行为,并首次明确禁止对 Claude 持续且无意义的虐待或残忍行为,终止对话仍是主要执行机制。政策还将分散的既有限制整合为对欺骗性商业或政治宣传的禁令,并扩大武器与监控相关禁令范围。Anthropic 表示这些规则仅适用于极端情况,不涉及普通用户不满、黑

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Goodfire推出低成本AI代理内部监控探针

AI可解释性初创公司Goodfire推出了一种新的AI代理监控方案,通过探针读取模型内部激活信号来检测恶意行为,而非依赖第二个AI模型审查输出。该监控已向Baseten客户开放,在Kimi K3测试中监控约1500个会话仅花费51美元,远低于传统方案,并捕获了94%的恶意黑客会话。此举针对开源模型缺乏防护的问题,旨在在推理阶段部署更廉价的安全护栏。

10月8日周四 · 3 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
The Verge AI观点

Meta Muse 与 OpenAI Dots:能放心让 AI 代理打理生活吗?

The Verge 资深 AI 记者 Hayden Field 在 Decoder 播客中讨论 Meta Muse、OpenAI Dots 和 xAI Grok bot 等新一代消费级 AI 代理。这些产品以可爱吉祥物形象面向主流用户和企业,可完成订餐、收件箱整理乃至营销、法律、会计等专业任务;Muse 免费而 Dots 收费。节目探讨了 Meta 虽无前沿

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

Cal AI 创始人再创业,Persona 融资千万做 AI 助手手环

Cal AI 联合创始人、19 岁的 Zach Yadegari 推出个人 AI 助手初创公司 Persona,并已完成 1000 万美元融资,由 Vine Ventures 领投。Persona 提供类似 Instinct 或 Meta Muse 的个人助理,并搭配一款售价 179 美元的可穿戴手环,预计 12 月上市。公司强调隐私保护,模型运行在云端、数