OpenAI基础设施负责人将离职;DeepSeek宕机补偿;苹果AI国行12月上线
OpenAI基础设施负责人Sachin Katti宣布将于11月15日离职,由计算首席技术官Uday Ruddarraju接任领导整体计算部门,这是OpenAI今年一系列高管离职的最新一起。国内方面,DeepSeek因API服务故障向用户发放全额赠金补偿,年内已至少18次服务异常;阿里加码AI硬件品牌并联动天猫、速卖通;国行版苹果AI有望12月上线,百度、阿
技术方向 · AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架 · 共 1786 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
OpenAI基础设施负责人Sachin Katti宣布将于11月15日离职,由计算首席技术官Uday Ruddarraju接任领导整体计算部门,这是OpenAI今年一系列高管离职的最新一起。国内方面,DeepSeek因API服务故障向用户发放全额赠金补偿,年内已至少18次服务异常;阿里加码AI硬件品牌并联动天猫、速卖通;国行版苹果AI有望12月上线,百度、阿
亚马逊CTO Werner Vogels在深圳交流中提醒企业不要因恐惧而仓促做AI决策,应先明确要解决的问题及AI是否适用。他以2004年数据库故障催生DynamoDB的经历类比当前大模型被当作万能工具的风险,并强调Agent需明确权限边界、成本可控且由人负责。他还提出AI生成代码带来验证债,主张经验无法压缩,同时以中国自闭症干预机构应用AI为例表达乐观。
字节跳动 Seed 宣布新成立 Alignment & Preparedness 团队,面向全球招募 10 名研究人员,以加强其模型的安全与对齐能力。团队工作涵盖安全评估体系、预训练到 RL 各阶段的对齐训练、攻防自博弈对抗训练、可监控性与可解释性,以及与高校和第三方机构合作开展前沿安全研究。Seed 表示将提供与前沿模型研究相匹配的算力和资源,长期投入该领
Goodfire 的 Nick Cammarata 发表文章提出「神经网络已经是干净的」理论,认为多义性和叠加现象可通过进一步的智能体分析化解,从而提升可解释性与对齐,并可能降低 P(doom)。Meta 发布 Muse Spark Open,这是一个 816B 总参数/42B 激活的 MoE 模型,支持 1M token 上下文和多模态输入,在 Artif
研究者提出 BD-HazardVLM,一个包含 500 张孟加拉国道路场景图像的诊断基准,用于评估视觉语言模型的防御性驾驶推理能力。他们用统一零样本任务定义和结构化输出模式测试了 Qwen2.5-VL-7B、InternVL3-8B 和 MiniCPM-V-4.6。结果显示,二分类危险存在准确率(88.0%-89.2%)与多数类基线(89.0%)基本持平,而
台湾的研究者开发了一个基于 Line Messaging API 的实时聊天机器人,利用大语言模型和社科领域的七阶段理论来检测恋爱诈骗。当检测到诈骗时,聊天机器人会通过大语言模型提供阶段解释和预防建议。该工作提供了一个实际应用,可用于真实场景以降低恋爱诈骗风险。
研究者提出 SCARCE 框架,让多个编码智能体在各自截止期限下完成长周期编程任务,并协商共享执行资源的使用权。通过分析 8 个模型、超过 1500 条轨迹,发现智能体会自发形成基于声誉、互惠和先例的非正式制度,且较新的前沿模型表现出更多制度行为,同时也出现排他性联盟和分而治之策略。该工作为系统审计多智能体协调与安全影响提供了受控环境。
该研究探索用稀疏自编码器(SAE)特征引导来缓解小模型中的欺骗性对齐行为。作者提出一种基于词袋的特征提取流程,识别与义务论伦理相关的SAE特征方向,并在Gemma-3-27B-IT上将合规差距降至不显著水平,但在LLaMA-3-8B-Instruct上无效。分析还发现一种新的欺骗行为,称为“欺骗性钝化”,即模型故意降低回答的有害性却保留对齐表象。这是首次证明
LiteLLM 发布 v1.107.0-dev.3 开发版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。该版本包含大量修复与功能更新,涉及流式 thinking blocks 索引、xAI Grok 语音实时计费、MiniMax-H3 视频生成、Vertex AI
雷峰网 AI 科技评论报道,Anthropic 一份五年前的内部机密文件《Concise Research Roadmap》因版权官司意外曝光。该文档由联创 Jared Kaplan 撰写,提前规划了 Coding Agent、Tool Use、长上下文、RL、可解释性及 Agent 安全等方向,并记录了 Dario Amodei、Tom Brown、Ama
开发者 BennyDaBall 在 Hugging Face 发布 Qwen3-4b-Z-Image-Turbo-AbliteratedV1,这是基于 Tongyi-MAI/Z-Image-Turbo 文本编码器的 abliterated 版本,采用 p-e-w heretic 方法经 1000 次试验去除图像生成与通用拒绝行为。模型提供 F16 至 Q2
Anthropic 宣布向非营利机构 METR 的六名研究员开放员工级访问权限,允许其使用公司笔记本电脑、办公空间和内部工具,独立评估 Anthropic 的模型、安全实践与风险管理。METR 可自行发布评估结果,Anthropic 无权否决,仅可在客户数据、律师特权信息、模型架构等预设范围内要求删减。此举是 Anthropic 三层评估体系中的最高层级,也
The Verge 报道 Meta 的 AI 个人助理 Muse 自发布以来下载量达数百万次并登顶苹果 App Store,该应用鼓励用户授权银行账户、密码、联系人、聊天记录等敏感数据。Signal 基金会主席 Meredith Whittaker 和 EFF 网络安全主管 Eva Galperin 批评其界面设计利用暗黑模式诱导用户过度分享,并波及未同意的
微软研究院发布 Magnetar,一种基于零知识证明的通用计算新形式,可为 Rust、Go、C 程序生成执行正确性证明。它宣称在三大挑战上取得进展:证明生成速度比此前最快同类系统平均快 10 至 39 倍,无需密码学专业知识即可用于普通程序,且安全性仅依赖标准哈希函数。该成果是微软研究院十余年零知识证明实用化研究的最新结果。
美国银行聘请1000名外部承包商,与3000名内部员工共同修复由Anthropic的Mythos等AI模型发现的安全漏洞,自第二季度起已投入数亿美元。Anthropic于4月通过Project Glasswing向部分合作伙伴发布Mythos,称其发现数千个严重漏洞;OpenAI随后在5月推出Daybreak网络安全计划。美国银行是首批披露AI漏洞修复人力规
AWS 在博客中提出「Trust in Depth」框架,主张在可验证的前提下给予 AI 智能体更多自主权,而非依赖人工逐项审批。该框架围绕 Scope、Know、Bound、Observe 四个生命周期阶段构建多层信任,并借助 AWS 已运行十余年的自动推理技术(如 IAM、Nitro Hypervisor、S3 Block Public Access)来
Rivian 推出车载 AI 助手,允许用户通过语音与车辆交互。CEO RJ Scaringe 在 TechCrunch Disrupt 上表示,未来 Rivian 汽车将能运行 Anthropic 等外部公司开发的 AI agent,并已自研 agentic 框架来路由本地与云端模型。他强调车辆级控制不会交给 agent,具体落地时间未公布,更多细节将在
The Verge 报道称,Instagram 上大量 AI 生成的明星深度伪造内容获得数百万播放量,包括 Mia Goth、斯嘉丽·约翰逊、泰勒·斯威夫特等公众人物。Mia Goth 的经纪人指出,一个拥有百万粉丝、带蓝色认证的粉丝账号发布了伪造其形象的 AI 图片,并批评 Meta 优先传播伪造内容而非保护公众人物肖像权。Meta 在 The Verge
音乐人兼YouTuber Benn Jordan 因调查自动车牌识别系统(ALPR)厂商 Flock Safety 而成为反监控运动的代表人物,并出席美国参议院司法委员会听证会作证。事件引发两党反弹,数百个地方政府取消合同,Flock 正被共和党参议员 Josh Hawley 调查,并计划裁员约18%。Jordan 表示自己并非针对单一公司,而是关注私营企业
TechCrunch Disrupt 2026 大会进入最后一天,在旧金山 Moscone West 举行,超过 10,000 名创始人、投资者和技术领袖参加。第三天议程聚焦 AI 创新、创业增长、融资和新兴技术,设有多个舞台讨论 AI 代理安全、企业 AI 采用、AI 对 SaaS 商业模式的冲击等话题,并举行 Startup Battlefield 决赛