2026年前沿模型如何基于结果进行训练
本文是Hugging Face博客关于2026年前沿模型训练方式的补充材料,梳理了OpenAI、DeepSeek、Meta等实验室在强化学习(RL)后训练中的公开做法。文章指出,可验证奖励(RLVR)已成为主流,GRPO算法被广泛采用但多有修改,且RL正从单答案转向环境交互。作者通过引用各实验室报告,展示了这些模式如何贯穿从7B模型到前沿系统的训练流程。
公司与模型 · 阿里通义千问 Qwen 系列的开源发布与迭代:从旗舰模型到端侧小模型的全谱系
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-11 04:34
本文是Hugging Face博客关于2026年前沿模型训练方式的补充材料,梳理了OpenAI、DeepSeek、Meta等实验室在强化学习(RL)后训练中的公开做法。文章指出,可验证奖励(RLVR)已成为主流,GRPO算法被广泛采用但多有修改,且RL正从单答案转向环境交互。作者通过引用各实验室报告,展示了这些模式如何贯穿从7B模型到前沿系统的训练流程。
本研究通过进化迭代囚徒困境实验,比较了四款中国前沿大模型(DeepSeek V4 Pro、Qwen3-Max、Kimi K2.5、GLM-5.1)的合作倾向。研究发现,这些模型并非铁板一块,实验室间差异显著,且中国模型内部的差异大于中国与西方生态系统之间的平均差异。研究还发现,中国模型的合作倾向普遍性较弱,但这一结论受转换器选择影响。
本期资讯涵盖多个AI相关动态:DeepSeek回应了用户被取外号的争议,解释为临时对话标签;千问办公助理推出收费服务;DeepSeek-V4-Flash正式版周调用量全球第一;英伟达计划筹集5000亿美元用于AI基建;扎克伯格呼吁美国放宽开源AI限制。此外,还包括携程反垄断罚单、苹果测试长鑫存储芯片、宇树科技IPO等商业新闻。
Meta CEO 马克·扎克伯格发布长篇宣言《未来属于每个人》,阐述其对超级智能 AI 发展的愿景,包括推动数据中心建设、开放 AI 模型、呼吁减少政府监管但加强网络安全合作。该宣言旨在塑造 Meta 作为负责任 AI 领导者的形象,并影响公众和政策制定者。
Meta 发布了 30B 参数的开放权重模型 Muse Glimmer,采用 Apache 2.0 许可,可在消费级 GPU 上本地运行,并在多数基准测试中优于同类竞品。扎克伯格同时发表文章,捍卫模型蒸馏的合法性,并呼吁美国在开放模型领域保持领先。Meta 计划未来几周发布更强模型 Muse Spark 1.2 的开放权重版本,并考虑通过云业务变现其数据中心
另有 2 家信源报道
Hugging Face 团队发表论文,提出两种系统优化方法:离线缓存教师模型的 Top-K logits,以及融合分块 KL 损失,以大幅降低大语言模型知识蒸馏的显存占用和训练成本。该方法使长上下文蒸馏可在单 GPU 上运行,并支持大规模实验。
Hugging Face 博客发布了一篇技术文章,介绍如何通过分析公开的模型配置文件(config.json)、分词器(tokenizer)和权重(embedding CKA)来客观判断一个大型语言模型是从零训练还是基于开源基础模型衍生而来。文章指出,架构指纹和分词器重叠是主要证据,而权重相似性因旋转不变性等原因不可靠。作者将该方法应用于韩国九个组织的公开基
xAI 发布了 Imagine Image 2.0 模型,作为 Grok 平台的新“质量模式”,提供精细指令遵循、排版布局优化和跨生成一致性。该模型在 Arena 基准测试中排名第二,仅次于 OpenAI 的 GPT-Image-2。新模型包含 Magic Wand、区域分割、背景移除、多参考编辑和智能调整大小等编辑工具,并推出模板和视频预制作功能。API
字节跳动创始人张一鸣在Seed全员会上明确拒绝通过蒸馏方式追赶前沿大模型,坚持从头训练以追求长期技术主权。尽管字节在算力、数据和资金上具备优势,其Seed 2.1 Pro在全球榜单仅列第21位,落后于其他中国模型。字节计划训练10万亿参数的超大模型,并投入超2000亿元建设算力基础设施,以规模跃迁实现技术领先。
Hugging Face 发布了 Carbon-3B,一个 3B 参数的生成式 DNA 基础模型,专注于真核生物,支持 32,768 个 6-mer 令牌(约 197k 碱基对)的上下文,并可扩展至 65,536 令牌。该模型在序列恢复、变异效应预测和基序扰动任务上可与 Evo2-7B 竞争,同时推理速度更快。Carbon 系列还包括 Carbon-8B 和
Hugging Face 发布了 Optimum Intel v2.1.0,新增了对多个模型架构的导出和推理支持,包括 Google 的 Gemma 3n 和 Gemma 4 Unified、阿里巴巴的 Qwen3-Omni-MoE 和 Qwen3-VL-Embedding、SmolLM3 以及 Black Forest Labs 的 FLUX.2。该版本通
蚂蚁集团在IJCAI 2026上发表了四篇论文,分别涉及时间序列聚类、离线到在线强化学习、贝叶斯优化和多模态视频评估,共同探索AI在动态环境中的自适应能力。这些研究旨在解决真实世界中模型性能衰减的问题,并已在多个基准测试中取得领先结果。
Meta 发布 2026 年二季度财报,净利润暴跌 14%,自由现金流仅剩 7.84 亿美元,同时上调全年 AI 资本开支至 1350 亿-1450 亿美元,引发股价大跌。Meta 在 AI 上半场因 Llama 4 失败和产品融合不佳而落后,现正通过自研模型路由器、限制 Token 使用、筹建云业务等方式寻求 AI 变现。分析认为,AI 行业已从拼投入转向
Together AI 发布了开源框架 Aurora,基于强化学习,从实时推理轨迹中学习,持续更新投机解码中的草稿模型,无需中断服务。实验表明,Aurora 在 Qwen3 和 Llama3 等模型上比静态草稿模型额外获得 1.25 倍加速,并降低了基础设施成本。该框架支持异步训练和热替换,将投机解码转变为动态自改进的飞轮。
网易有道宣布旗下AI Agent产品矩阵已完成DeepSeek-V4-Flash正式版的全面接入,覆盖LobsterAI、有道词典、有道翻译、Hi Echo等产品。此次升级基于DeepSeek-V4-Flash-0731模型,该模型与预览版结构一致,但通过后训练优化显著提升了Agent能力。升级后,LobsterAI运行更经济,翻译和口语产品功能更精准,Th
Hugging Face Transformers 发布 v5.13.0,新增多个模型架构支持,包括 Kimi K2.5/2.6/2.7、小米 MiMo-V2-Flash、NVIDIA Nemotron 3.5 ASR 及 Nemotron ASR Streaming、阿里 Qwen3 ASR 和 Zyphra ZAYA1。这些模型覆盖多模态智能体、长上下文
vLLM 发布 v0.24.0 版本,包含 571 个提交,来自 256 位贡献者。新增 MiniMax-M3、DiffusionGemma 等模型支持,并持续优化 DeepSeek-V4 的性能。Model Runner V2 默认支持量化模型,Rust 前端新增多项 API 功能。设备选择机制改为使用 device ids 参数,不再内部设置 CUDA
Interconnects AI 的最新开源模型报告指出,开源生态系统正变得更加多元化,参与者包括纯模型制造商、大科技公司和产品公司。报告重点推荐了 NVIDIA 的 Nemotron 系列、Cohere 的 Command A+、GLM-5.2、Zyphra 的 ZAYA1 和 Poolside 的 Laguna-M.1 等模型,并讨论了开源模型发布的动机
Mistral AI 发布了 Mistral Small 4,这是其 Small 系列的新旗舰模型,首次统一了推理、多模态和智能体编码能力,支持文本和图像输入,并采用 Apache 2.0 开源许可。该模型基于 MoE 架构,总参数 119B,激活参数 6B,上下文窗口 256k,性能相比 Small 3 提升显著,推理延迟降低 40%,吞吐量提升 3 倍。