返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1786 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月16日周五 · 14 条
正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

OpenAI基础设施负责人将离职;DeepSeek宕机补偿;苹果AI国行12月上线

OpenAI基础设施负责人Sachin Katti宣布将于11月15日离职,由计算首席技术官Uday Ruddarraju接任领导整体计算部门,这是OpenAI今年一系列高管离职的最新一起。国内方面,DeepSeek因API服务故障向用户发放全额赠金补偿,年内已至少18次服务异常;阿里加码AI硬件品牌并联动天猫、速卖通;国行版苹果AI有望12月上线,百度、阿

正文结构化主题已通过公开置信门槛
量子位观点

68岁亚马逊CTO:别让恐惧替企业做AI决策

亚马逊CTO Werner Vogels在深圳交流中提醒企业不要因恐惧而仓促做AI决策,应先明确要解决的问题及AI是否适用。他以2004年数据库故障催生DynamoDB的经历类比当前大模型被当作万能工具的风险,并强调Agent需明确权限边界、成本可控且由人负责。他还提出AI生成代码带来验证债,主张经验无法压缩,同时以中国自闭症干预机构应用AI为例表达乐观。

正文结构化主题已通过公开置信门槛
ByteDance Seed Research一手来源商业

字节 Seed 成立对齐与准备团队,全球招募 10 名研究员

字节跳动 Seed 宣布新成立 Alignment & Preparedness 团队,面向全球招募 10 名研究人员,以加强其模型的安全与对齐能力。团队工作涵盖安全评估体系、预训练到 RL 各阶段的对齐训练、攻防自博弈对抗训练、可监控性与可解释性,以及与高校和第三方机构合作开展前沿安全研究。Seed 表示将提供与前沿模型研究相匹配的算力和资源,长期投入该领

正文结构化主题已通过公开置信门槛
Latent Space研究

智能体破解多义性;Meta 发布 Muse Spark Open

Goodfire 的 Nick Cammarata 发表文章提出「神经网络已经是干净的」理论,认为多义性和叠加现象可通过进一步的智能体分析化解,从而提升可解释性与对齐,并可能降低 P(doom)。Meta 发布 Muse Spark Open,这是一个 816B 总参数/42B 激活的 MoE 模型,支持 1M token 上下文和多模态输入,在 Artif

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

BD-HazardVLM:评估视觉语言模型在孟加拉国道路场景中的潜在防御性驾驶危险

研究者提出 BD-HazardVLM,一个包含 500 张孟加拉国道路场景图像的诊断基准,用于评估视觉语言模型的防御性驾驶推理能力。他们用统一零样本任务定义和结构化输出模式测试了 Qwen2.5-VL-7B、InternVL3-8B 和 MiniCPM-V-4.6。结果显示,二分类危险存在准确率(88.0%-89.2%)与多数类基线(89.0%)基本持平,而

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

基于大语言模型的实时聊天机器人恋爱诈骗阶段检测

台湾的研究者开发了一个基于 Line Messaging API 的实时聊天机器人,利用大语言模型和社科领域的七阶段理论来检测恋爱诈骗。当检测到诈骗时,聊天机器人会通过大语言模型提供阶段解释和预防建议。该工作提供了一个实际应用,可用于真实场景以降低恋爱诈骗风险。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

SCARCE:长周期多智能体编码系统中的涌现制度

研究者提出 SCARCE 框架,让多个编码智能体在各自截止期限下完成长周期编程任务,并协商共享执行资源的使用权。通过分析 8 个模型、超过 1500 条轨迹,发现智能体会自发形成基于声誉、互惠和先例的非正式制度,且较新的前沿模型表现出更多制度行为,同时也出现排他性联盟和分而治之策略。该工作为系统审计多智能体协调与安全影响提供了受控环境。

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

用SAE特征引导缓解小模型欺骗行为

该研究探索用稀疏自编码器(SAE)特征引导来缓解小模型中的欺骗性对齐行为。作者提出一种基于词袋的特征提取流程,识别与义务论伦理相关的SAE特征方向,并在Gemma-3-27B-IT上将合规差距降至不显著水平,但在LLaMA-3-8B-Instruct上无效。分析还发现一种新的欺骗行为,称为“欺骗性钝化”,即模型故意降低回答的有害性却保留对齐表象。这是首次证明

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM v1.107.0-dev.3 发布:镜像签名验证与多项修复

LiteLLM 发布 v1.107.0-dev.3 开发版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。该版本包含大量修复与功能更新,涉及流式 thinking blocks 索引、xAI Grok 语音实时计费、MiniMax-H3 视频生成、Vertex AI

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

Anthropic 五年前机密路线图曝光:Coding Agent 与 MCP 早已写就

雷峰网 AI 科技评论报道,Anthropic 一份五年前的内部机密文件《Concise Research Roadmap》因版权官司意外曝光。该文档由联创 Jared Kaplan 撰写,提前规划了 Coding Agent、Tool Use、长上下文、RL、可解释性及 Agent 安全等方向,并记录了 Dario Amodei、Tom Brown、Ama

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Qwen3-4b-Z-Image-Turbo 去审查版发布

开发者 BennyDaBall 在 Hugging Face 发布 Qwen3-4b-Z-Image-Turbo-AbliteratedV1,这是基于 Tongyi-MAI/Z-Image-Turbo 文本编码器的 abliterated 版本,采用 p-e-w heretic 方法经 1000 次试验去除图像生成与通用拒绝行为。模型提供 F16 至 Q2

正文结构化主题已通过公开置信门槛
TechCrunch AI政策

Anthropic 向 METR 研究员开放员工级访问权限

Anthropic 宣布向非营利机构 METR 的六名研究员开放员工级访问权限,允许其使用公司笔记本电脑、办公空间和内部工具,独立评估 Anthropic 的模型、安全实践与风险管理。METR 可自行发布评估结果,Anthropic 无权否决,仅可在客户数据、律师特权信息、模型架构等预设范围内要求删减。此举是 Anthropic 三层评估体系中的最高层级,也

正文结构化主题已通过公开置信门槛
The Verge AI观点

Meta 的 AI 助理 Muse 被指诱导用户交出亲友数据

The Verge 报道 Meta 的 AI 个人助理 Muse 自发布以来下载量达数百万次并登顶苹果 App Store,该应用鼓励用户授权银行账户、密码、联系人、聊天记录等敏感数据。Signal 基金会主席 Meredith Whittaker 和 EFF 网络安全主管 Eva Galperin 批评其界面设计利用暗黑模式诱导用户过度分享,并波及未同意的

正文结构化主题已通过公开置信门槛
Microsoft Research Blog一手来源研究

微软研究院发布 Magnetar:基于证明的通用计算

微软研究院发布 Magnetar,一种基于零知识证明的通用计算新形式,可为 Rust、Go、C 程序生成执行正确性证明。它宣称在三大挑战上取得进展:证明生成速度比此前最快同类系统平均快 10 至 39 倍,无需密码学专业知识即可用于普通程序,且安全性仅依赖标准哈希函数。该成果是微软研究院十余年零知识证明实用化研究的最新结果。

10月15日周四 · 6 条
正文结构化主题已通过公开置信门槛
THE DECODER安全

美国银行投入4000人修复AI模型发现的安全漏洞

美国银行聘请1000名外部承包商,与3000名内部员工共同修复由Anthropic的Mythos等AI模型发现的安全漏洞,自第二季度起已投入数亿美元。Anthropic于4月通过Project Glasswing向部分合作伙伴发布Mythos,称其发现数千个严重漏洞;OpenAI随后在5月推出Daybreak网络安全计划。美国银行是首批披露AI漏洞修复人力规

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源观点

AWS 提出 Trust in Depth:让智能体更自主又不失控

AWS 在博客中提出「Trust in Depth」框架,主张在可验证的前提下给予 AI 智能体更多自主权,而非依赖人工逐项审批。该框架围绕 Scope、Know、Bound、Observe 四个生命周期阶段构建多层信任,并借助 AWS 已运行十余年的自动推理技术(如 IAM、Nitro Hypervisor、S3 Block Public Access)来

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Rivian 计划让汽车运行 Anthropic 等外部 AI agent

Rivian 推出车载 AI 助手,允许用户通过语音与车辆交互。CEO RJ Scaringe 在 TechCrunch Disrupt 上表示,未来 Rivian 汽车将能运行 Anthropic 等外部公司开发的 AI agent,并已自研 agentic 框架来路由本地与云端模型。他强调车辆级控制不会交给 agent,具体落地时间未公布,更多细节将在

正文结构化主题已通过公开置信门槛
The Verge AI政策

明星AI深度伪造泛滥,平台监管乏力

The Verge 报道称,Instagram 上大量 AI 生成的明星深度伪造内容获得数百万播放量,包括 Mia Goth、斯嘉丽·约翰逊、泰勒·斯威夫特等公众人物。Mia Goth 的经纪人指出,一个拥有百万粉丝、带蓝色认证的粉丝账号发布了伪造其形象的 AI 图片,并批评 Meta 优先传播伪造内容而非保护公众人物肖像权。Meta 在 The Verge

正文结构化主题已通过公开置信门槛
The Verge AI观点

Benn Jordan 谈 Flock、隐私与新一轮监控反弹

音乐人兼YouTuber Benn Jordan 因调查自动车牌识别系统(ALPR)厂商 Flock Safety 而成为反监控运动的代表人物,并出席美国参议院司法委员会听证会作证。事件引发两党反弹,数百个地方政府取消合同,Flock 正被共和党参议员 Josh Hawley 调查,并计划裁员约18%。Jordan 表示自己并非针对单一公司,而是关注私营企业

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

TechCrunch Disrupt 2026 最后一天:AI 创新与创业焦点

TechCrunch Disrupt 2026 大会进入最后一天,在旧金山 Moscone West 举行,超过 10,000 名创始人、投资者和技术领袖参加。第三天议程聚焦 AI 创新、创业增长、融资和新兴技术,设有多个舞台讨论 AI 代理安全、企业 AI 采用、AI 对 SaaS 商业模式的冲击等话题,并举行 Startup Battlefield 决赛