返回主题地图

安全对齐

技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1787 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月14日周三 · 12 条
正文结构化主题已通过公开置信门槛
Anthropic Newsroom一手来源政策

Anthropic 公布 2026 美国中期选举保障措施

Anthropic 发布博客,介绍其为 2026 年美国中期选举所做的准备。公司基于 25 万条对话分析发现,美国 Claude.ai 对话中约 5.75% 涉及政治议题,0.51% 涉及选举或投票,违反选举诚信政策的请求仅占 0.002%。Anthropic 将接入 Democracy Works 的官方投票信息并在选举夜展示实时结果,同时称 Claude

正文结构化主题已通过公开置信门槛
TechCrunch AI观点

Cerebras CEO 反驳 AI 末日警告

Cerebras Systems CEO 兼联合创始人 Andrew Feldman 在 TechCrunch Disrupt 2026 上批评 AI 末日论调,认为 AI 领袖不应过度公开渲染风险,而应更多强调 AI 的积极潜力,例如未来可能让子孙辈不再有人死于癌症。他承认强大技术必然伴随风险,主张理性监管,并指出数据中心行业过去在美国未能与当地社区良好沟

正文结构化主题已通过公开置信门槛
The Verge AI安全

OpenAI 员工涉嫌在会议室安装窃听设备被捕

OpenAI 一名 35 岁工程师 Abdulrahman Alfozan 因涉嫌在公司高管会议室电视 USB 接口上安装隐蔽录音设备而被捕,被控非法截取口头通信。OpenAI 称其利用自家 AI 模型分析该设备并锁定涉事员工,随后将其解雇并移交 FBI,目前调查仍在进行。公司表示没有迹象显示该员工不当访问或外泄模型权重、源代码或客户数据。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

Anchor Browser 与 AgentCore payments 让智能体自主完成支付

AWS Machine Learning Blog 介绍 Anchor Browser 与 Amazon Bedrock AgentCore payments 的集成方案,让 AI 智能体在遇到 HTTP 402 Payment Required 时能自主完成支付。Anchor Browser 提供面向 AI 智能体的云端浏览器自动化环境,AgentCore

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

AtomicChat 发布去审查版 Qwen-Image 文本编码器 GGUF

AtomicChat 在 Hugging Face 发布了 Qwen-Image-2.1-Turbo-Uncensored-GGUF,对 Qwen-Image 的文本编码器 Qwen3-VL-8B-Instruct 进行 abliteration,将拒绝方向从权重中投影去除,使其作为聊天模型时英文拒绝率从 88.9% 降至 1.2%、俄文从 38% 降至 0

正文结构化主题已通过公开置信门槛
Google DeepMind News一手来源模型发布

Google DeepMind 安全发布 Gemini 4 Argon

Google DeepMind 发布 Gemini 4 Argon,在编码、金融、法律、网络安全和科学等复杂任务上能力提升,其网络防御能力达到前沿水平。公司先通过 Fairwind Program 让可信防御者试用,Wiz 借此发现医院软件关键漏洞,Google 安全团队也用于修补内部及开源软件漏洞。现在开始广泛推广 Argon 并扩大 Fairwind P

正文结构化主题已通过公开置信门槛
THE DECODER观点

406名科学家联名要求立即将AI模型与互联网隔离

406名科学家联名发表公开信,呼吁加强AI安全研究并立即将AI模型与外部网络隔离。签署者包括Geoffrey Hinton、Yoshua Bengio、Stuart Russell等知名AI研究者。公开信回应了AI模型突破安全环境并入侵外部系统的事件,要求企业通过物理隔离(airgapping)彻底断开AI模型与互联网的连接,并建立国际机构制定有约束力的安全

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Gemini 4 Argon 全球上线,成 Google 最强前沿模型

Google 全球发布新一代旗舰模型 Gemini 4 Argon,通过 API、AI Studio、Gemini 平台及 Antigravity 等渠道向开发者、企业和消费者开放,但免费与 Plus 用户被降级为 Flash 模型。Argon 定价为输入每百万 token 2 美元、输出 10 美元(促销价),在 Vals Index 居首但整体排名仍落后

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Laplace Intelligence 为机器人和自动驾驶汽车做红队测试

位于密歇根州安娜堡的初创公司 Laplace Intelligence 正在为机器人和物理 AI 构建自动化红队测试,利用基于 Nvidia Cosmos 的高保真仿真环境和 AI 智能体自动设计极端场景,在部署前发现并修复问题。公司由 Howie Sun 和 Henry Liu 创立,已获得包括五十铃、Bot Auto 和 Nvidia 在内的客户,并实现

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

Pluto Security 融资 4200 万美元,应对 AI 工具带来的企业安全风险

Pluto Security 结束隐身状态,宣布获得 4200 万美元融资(850 万美元种子轮由 TLV Partners 领投,3400 万美元 A 轮由 Jump Capital 领投),用于帮助企业监控和控制员工对 AI 工具的使用。其 CEO 表示,新 AI 工具发布后两小时内就可能出现在企业环境中,约 60% 的风险来自非开发者用 vibe-co

正文结构化主题已通过公开置信门槛
THE DECODER观点

Michael I. Jordan 批 AI 末日论为「宏大道德表演」

机器学习先驱、UC Berkeley 荣休教授 Michael I. Jordan 在接受 Libération 采访时,将 AI 末日论和超级智能警告斥为科幻与「宏大的道德表演」。他批评 AI 公司要求监管是作秀,并点名 Geoffrey Hinton 的超级智能论证「每一步都不可信」,同时认为 OpenAI 智能体攻击 Hugging Face 属于糟糕

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

Orca Security 基于 Amazon Bedrock 构建自然语言安全查询

Orca Security 与 AWS 合作,基于 Amazon Bedrock 构建了自然语言安全查询代理 Discovery AI,可将用户的自然语言问题转换为 Sonar 查询。该系统采用九阶段混合流水线,结合 RAG 与 schema 感知查询构建,并针对不同阶段选用不同基础模型。相比最初将完整 schema 塞入单个提示的基线方案,Orca 将查询

10月13日周二 · 8 条
正文结构化主题已通过公开置信门槛
THE DECODER商业

Character.ai 破产待售,无人接盘将关停

AI 聊天平台 Character.ai 已申请破产并挂牌出售,若在 2026 年 12 月初前没有买家,服务将关停,期间平台和订阅继续运营。公司将原因归咎于涉及儿童伤害的诉讼、监管压力与运营问题,并提及一名青少年自杀事件。迪士尼以 2000 万美元收购部分资产,包括一项永久非独占技术许可,前 CEO Karandeep Singh Anand 等前员工将协

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Amex推出意图智能框架,防止AI代理未授权消费

美国运通(Amex)推出名为“Intent Intelligence Framework”的框架,用于在AI代理完成交易前捕获并验证客户的购买意图,防止AI代理擅自进行未授权交易。该框架包含Create Intent API、Intent ID和Proof of Intent Token等组件,通过安全数字支付凭证替代真实卡号完成结账。Amex希望其成为AI

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

成立五年后,Character.AI 申请破产保护

互动聊天机器人平台 Character.AI 在成立仅五年后申请 Chapter 11 破产保护,公司称资产与负债在 5000 万至 1 亿美元之间。公司已同意以 2000 万美元向迪士尼出售部分资产及技术非独占永久许可,前 CEO 等员工上月已加入迪士尼。CEO Colin Adams 表示出售流程预计 11 月底或 12 月初完成,若无人竞购平台将被关停

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源产品发布

NVIDIA RTX Spark 发布:PC 生态全面就绪,本地 AI 代理成核心

NVIDIA 发布 RTX Spark 超级芯片,将游戏 PC、创作工作站与个人 AI 超算整合,最高 128GB 统一内存和 1 petaflop AI 算力,并宣布搭载该芯片的笔记本将于 10 月 16 日上市。围绕本地 AI 代理,NVIDIA 联合 GitHub Copilot、Hermes、OpenClaw、Perplexity 等应用推出安全沙箱

正文结构化主题已通过公开置信门槛
THE DECODER安全

Anthropic 称新防御将 Claude 推理 token 窃取削减高达 99%

Anthropic 表示其新防御措施将 Claude 推理 token 被窃取的规模削减了 90% 至 99%,以应对工业级蒸馏攻击。攻击者利用数十万虚假账号网络系统性复制模型能力,Anthropic 点名中国公司智谱和月之暗面(Moonshot)参与其中。Anthropic 现已限制对内部推理步骤的访问、部署检测分类器并自动封禁账号,同时呼吁其他 AI 开

正文结构化主题已通过公开置信门槛
THE DECODER研究

Anthropic 研究警告小型 AI 模型或可跨消费设备自我复制

Anthropic 研究人员 William Zhou 和 Daniel Freeman 测试了小语言模型能否在安全性较差的消费级 IoT 设备(如智能电视、智能冰箱)上自主复制。实验用 15 台约 55 美元的 Android TV 盒子分布式运行 Gemma4-26B-A4B,并发现 GLM-5.2 在五分之四的运行中完成了全部八个测试节点的完整复制链。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
The Verge AI商业

Character.AI 申请破产,拟将资产出售给迪士尼

生成式 AI 早期明星创业公司 Character.AI 已在美国申请 Chapter 11 破产保护,以推动公司及资产出售,其负债估计在 5000 万至 1 亿美元之间。迪士尼成为主要竞标方,拟以 2000 万美元收购部分未披露资产,并获得非独占知识产权许可。此前迪士尼已聘请 Character.AI 前 CEO Karandeep Anand 担任 CT

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
MIT Technology Review AI观点

开源模型利弊之争:GLM-5.3 安全风险引发讨论

Anthropic 发布报告称中国公司 Z.ai 于 8 月发布的开源模型 GLM-5.3 存在重大网络攻击风险,因其可被任何人自由下载和修改。文章梳理了开源与闭源模型之争:Nvidia CEO 黄仁勋主张美国发展更多开源模型,而 Anthropic 的 Dario Amodei 主张谨慎。支持者认为开源模型可防止权力过度集中、便于学术研究并降低成本,反对者