控制LLM推理努力：多模式推理模型的开发方法
本文探讨了如何控制大语言模型（LLM）的推理努力程度，使其具备低、中、高多种推理模式。文章回顾了推理模型的发展，如OpenAI的o1和DeepSeek-R1，并介绍了通过强化学习（RLVR）训练推理模型的方法，以及推理时计算扩展的概念。作者还提到了GPT-5.6系列模型提供多种推理努力设置，并计划深入讲解多努力模式模型的开发方法。
数据与训练
技术方向 · 训练侧的门道：数据集构建、合成数据、预训练与后训练方法 · 共 928 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
7月18日周六 · 1 条
正文结构化主题已通过公开置信门槛
7月17日周五 · 1 条
正文结构化主题已通过公开置信门槛
NVIDIA Vera Rubin 提升代理式 AI 后训练性价比
NVIDIA 发布博客，强调后训练（post-training）是代理式 AI 时代的关键工作负载，并提出“每美元智能”（intelligence per dollar）作为核心指标。文章介绍了 NVIDIA 的 Vera Rubin 平台和 Nemotron 3 Ultra 模型，旨在通过降低推理成本来提升智能收益，并列举了 Prime Intellect
7月16日周四 · 1 条
正文结构化主题已通过公开置信门槛
扩散模型创造力源于得分平滑的插值效应
Google Research 科学家郑道在 ICLR 2026 发表论文，证明扩散模型的创造力源于神经网络学习到的“平滑”得分函数，导致模型在训练数据点之间插值而非记忆。该研究结合正则化理论和去噪数学，解释了模型泛化的机制，并指出权重衰减等正则化方法会增强这种平滑效应。
7月6日周一 · 1 条
正文结构化主题已通过公开置信门槛
Import AI 464：Fable编写GPU内核，AI自动化与模拟计算
Import AI 464期报道了Fable模型在KernelBench-Mega基准上编写GPU内核，实现18.71倍加速，创下最快megakernel记录，显示AI在自动化AI研发任务上的进步。同时，CAIS和Scale Labs的Remote Labor Index显示AI系统在在线自由职业任务上的成功率从2.5%升至16.1%，表明AI对经济就业的潜
7月1日周三 · 2 条
正文结构化主题已通过公开置信门槛
Cloudflare 推出 AI 流量分类管理新选项
Cloudflare 在 AI 内容控制一周年之际，推出新的 AI 流量管理选项，将 AI 爬虫分为搜索、代理和训练三类，允许网站所有者精细控制。新默认设置将于 2026 年 9 月 15 日生效，对带广告的页面默认阻止训练和代理爬虫，但允许搜索爬虫。此举旨在平衡内容保护与网站可发现性。
正文结构化主题已通过公开置信门槛
SkillOpt：将智能体技能作为可训练参数，实现可靠性能提升
微软研究院发布SkillOpt，一种将智能体技能文件视为可训练参数的新方法，在不更新模型权重的情况下，通过前向-反向-更新循环优化技能。在六个基准、七个模型和三种执行模式下，SkillOpt在全部52个评估单元中取得最佳或并列最佳结果，显著提升性能，且优化后的技能可跨模型和任务迁移。
6月24日周三 · 1 条
正文结构化主题已通过公开置信门槛
缩放定律的细致探讨：从理论到实践
本文回顾了深度学习中的缩放定律（scaling laws）研究，从早期理论到Kaplan等人的实证工作，指出损失随模型规模、数据和计算量呈幂律下降，并可用于预测大模型训练需求。文章强调了缩放定律在计算资源分配中的实用价值，并讨论了不同阶段（小数据、幂律区、不可约误差区）的行为。
6月11日周四 · 1 条
正文结构化主题已通过公开置信门槛
Transformers v5.11.0 发布：新增 DiffusionGemma 和 DeepSeek-V3.2 支持
Hugging Face Transformers 库发布 v5.11.0 版本，新增 DiffusionGemma 和 DeepSeek-V3.2 模型支持。DiffusionGemma 采用编码器-解码器架构和多画布采样，加速文本生成；DeepSeek-V3.2 引入 DeepSeek 稀疏注意力机制，提升长上下文训练和推理效率。此外，该版本扩展了 Ke
5月7日周四 · 1 条
正文结构化主题已通过公开置信门槛
DeepSpeed v0.19.0 发布：多模态支持与多项修复
DeepSpeed 发布 v0.19.0 版本，包含多项修复和功能增强，如 ZeRO-3 碎片整理工具、序列并行对多模态模型的支持、Muon 优化器的 Gram 正交化，以及多个 bug 修复。该版本提升了稳定性、兼容性和性能，对使用 DeepSpeed 进行大规模模型训练的用户有积极影响。
4月22日周三 · 2 条
正文结构化主题已通过公开置信门槛
Google DeepMind 推出 Decoupled DiLoCo，实现跨区域高效分布式训练
Google DeepMind 推出了 Decoupled DiLoCo，一种新型分布式 AI 训练方法，通过将通信融入计算周期，避免同步阻塞，从而在跨区域网络上实现高效训练。他们成功使用 2-5 Gbps 的广域网在四个美国区域训练了 120 亿参数模型，速度比传统同步方法快 20 倍以上。该方法还支持混合不同代际的硬件（如 TPU v6e 和 TPU v
正文结构化主题已通过公开置信门槛
DSPy 3.2.0 发布：优化器链式组合与 LiteLLM 解耦
DSPy 发布 3.2.0 版本，主要亮点包括 BetterTogether 优化器支持链式组合、开始与 LiteLLM 解耦、输入字段类型不匹配警告、强化 RLM 和 PythonInterpreter 安全性。此外，磁盘缓存默认启用受限 pickle 以增强安全，optuna 变为可选依赖。
4月7日周二 · 1 条
正文结构化主题已通过公开置信门槛
智谱发布GLM-5.1旗舰模型，长程任务能力显著提升
智谱AI发布了新一代旗舰模型GLM-5.1，其编码能力和长程任务处理能力显著增强，可独立持续工作长达8小时，实现从规划到交付的完整闭环。该模型综合能力全面对齐Claude Opus 4.6，成为首个在综合能力上对齐该模型的中国模型，并跻身全球开源模型前列。通过multi-turn SFT、RL与过程质量评估体系，GLM-5.1在长任务中的稳定性、一致性与工具
2月13日周五 · 1 条
正文结构化主题已通过公开置信门槛
DeepSpeed v0.18.6 补丁发布：修复竞态条件与梯度问题
DeepSpeed 发布了 v0.18.6 补丁版本，包含多项修复和改进。主要修复了叶模块竞态条件、ZeRO stage 0 的 bf16 梯度范数发散等问题，并支持 AutoTP 自定义分区模式及 Python 3.14 注解处理。此外，将 torch.jit.script 替换为 torch.compile，并新增了两位贡献者。
1月31日周六 · 1 条
正文结构化主题已通过公开置信门槛
飞桨3.3.0发布：训练效率与国产硬件适配全面升级
百度飞桨框架发布3.3.0版本，重点提升大模型训练效率、开发体验和国产硬件适配。新版本升级了FlashMaskV3稀疏注意力内核，性能超越FlexAttention，并推出FlexCheckpoint参数自动切分重组系统，权重转换性能比Megatron-LM快1.2倍以上。同时引入虚拟内存动态碎片整理技术，将MoE模型显存碎片率从10%降至3%。此外，新版本
9月14日周日 · 1 条
正文结构化主题已通过公开置信门槛
训练 LLM 与推荐系统混合模型：利用语义 ID 实现可引导推荐
Eugene Yan 训练了一个 LLM 与推荐系统的混合模型，通过语义 ID 将物品表示为语言模型可理解的 token，使模型既能基于行为数据推荐，又能通过自然语言对话进行引导和解释。实验使用 Amazon Reviews 2023 视频游戏数据，构建了 79k 用户序列，并采用 RQ-VAE 生成语义 ID。该混合模型虽在精度上不及专用推荐系统，但提供了
8月1日周五 · 1 条
正文结构化主题已通过公开置信门槛
Mistral AI 展示微调 Pixtral-12B 提升卫星图像分类性能
Mistral AI 发布博客，介绍通过 LoRA 微调其视觉语言模型 Pixtral-12B 在卫星图像分类任务上的应用。实验使用 AID 数据集，微调后模型在模糊类别上的分类准确率显著提升，且微调过程可通过 Mistral API 或 LaPlateforme UI 轻松完成。文章强调了领域专用微调在卫星图像等高专业度场景中的价值。
7月27日周日 · 1 条
正文结构化主题已通过公开置信门槛
Qwen提出GSPO算法：实现语言模型强化学习的可扩展训练
Qwen团队提出了一种新的强化学习算法GSPO（Group Sequence Policy Optimization），用于语言模型的规模化训练。GSPO基于序列似然定义重要性比率，并进行序列级裁剪、奖励和优化，相比GRPO具有更高的训练效率、稳定性和对MoE模型的友好性。该算法已成功应用于最新的Qwen3模型（Instruct、Coder、Thinking
7月22日周二 · 1 条
正文结构化主题已通过公开置信门槛
Mistral AI 发布大模型全生命周期环境影响评估，呼吁行业标准化
Mistral AI 发布了其大语言模型的首个全生命周期环境影响评估，与 Carbone 4 和 ADEME 合作完成，并经过同行评审。报告披露了训练 Mistral Large 2 的碳排放、耗水量和资源消耗，以及 Le Chat 每次推理的边际影响。该公司呼吁行业采用标准化环境报告，并提出了减少 AI 环境足迹的杠杆，如提高透明度和优化模型使用。
6月16日周一 · 1 条
正文结构化主题已通过公开置信门槛
DeepSeek-V3 发布：高效 MoE 模型，性能比肩闭源
DeepSeek 发布了 DeepSeek-V3，这是一个拥有 6710 亿总参数、每个 token 激活 370 亿参数的混合专家（MoE）语言模型。该模型采用无辅助损失负载均衡策略和多 token 预测训练目标，在 14.8 万亿 token 上预训练，仅需 278.8 万 H800 GPU 小时，性能超越其他开源模型，并可与领先闭源模型媲美。训练过程稳
5月1日周四 · 1 条
正文结构化主题已通过公开置信门槛
为什么我们要思考：测试时计算与思维链的进展
Lil'Log 发布文章《Why We Think》，回顾了测试时计算和思维链（CoT）在提升模型性能方面的最新进展。文章从人类双过程理论出发，将慢思考类比为测试时计算，并探讨了通过并行采样和顺序修正等解码策略来优化模型输出的方法。文章还提到了强化学习在提升 CoT 推理能力中的应用，并引用了 o1、o3 和 R1 等模型的技术报告。