Transformers 补丁版 v5.10.4 发布，修复多项问题
Hugging Face 发布了 Transformers 库的补丁版本 v5.10.4，修复了多个问题，包括与 vLLM 的同步、ProcessorMixin 中的 token 处理、InternVL 模型、处理偏移、peft 下界以及 mistral 后端。该版本在 PyPI 上以 5.10.4 发布，跳过了 5.10.3。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3343 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
6月16日周二 · 1 条
正文结构化主题已通过公开置信门槛
6月11日周四 · 2 条
正文结构化主题已通过公开置信门槛
Transformers v5.11.0 发布：新增 DiffusionGemma 和 DeepSeek-V3.2 支持
Hugging Face Transformers 库发布 v5.11.0 版本，新增 DiffusionGemma 和 DeepSeek-V3.2 模型支持。DiffusionGemma 采用编码器-解码器架构和多画布采样，加速文本生成；DeepSeek-V3.2 引入 DeepSeek 稀疏注意力机制，提升长上下文训练和推理效率。此外，该版本扩展了 Ke
正文结构化主题已通过公开置信门槛
DiffusionGemma：文本扩散模型实现4倍加速生成
Google DeepMind 发布了实验性开放模型 DiffusionGemma，采用文本扩散技术，可在 GPU 上实现高达 4 倍的文本生成加速。该 26B MoE 模型激活参数仅 3.8B，支持双向注意力，适合本地低并发推理场景，但输出质量低于标准 Gemma 4。模型权重以 Apache 2.0 许可在 Hugging Face 上提供，并支持 vL
6月6日周六 · 1 条
正文结构化主题已通过公开置信门槛
2026年上半年LLM研究论文精选清单
作者延续往年习惯，整理了2026年1月至5月期间值得关注的LLM研究论文清单，涵盖架构设计、推理效率、强化学习、智能体系统等多个类别。清单特别关注混合架构、状态空间模型、长上下文效率等趋势，并推荐了Nemotron 3等必读论文。作者强调这是个人精选而非完整列表，旨在帮助读者快速定位相关研究。
6月5日周五 · 1 条
正文结构化主题已通过公开置信门槛
vLLM v0.22.1 发布：新增 Mellum v2 支持与 Zen CPU 优化
vLLM 发布 v0.22.1 补丁版本，包含 8 个提交，来自 6 位贡献者。该版本新增对 JetBrains Mellum v2 模型的支持，并在 AMD Zen CPU 上通过 zentorch 加速量化线性推理，同时修复了多节点 Ray 数据并行服务、DeepSeek-V4 初始化等问题。
5月29日周五 · 1 条
正文结构化主题已通过公开置信门槛
vLLM v0.22.0 发布：DeepSeek V4 成熟化与性能大幅提升
vLLM 发布 v0.22.0 版本，包含 459 个提交，来自 230 位贡献者。该版本重点提升了 DeepSeek V4 的成熟度，包括新增 NVFP4 融合 MoE 支持、CUDA 图优化和 MTP 投机解码。同时，Model Runner V2 成为 Qwen3 稠密模型的默认选项，并引入了实验性的 Rust 前端。性能方面，批量不变推理通过 Cut
5月28日周四 · 1 条
正文结构化主题已通过公开置信门槛
DSPy 3.3.0b1 发布：ReActV2 与类型化 LM 系统
DSPy 发布 3.3.0b1 测试版，引入新模块 ReActV2 和类型化的 BaseLM 系统，并更新 GEPA 至 0.1.1，同时减少框架依赖。ReActV2 支持原生工具调用和并行工具调用，可降低最高 50% 的成本；BaseLM 提供类型化的 LMRequest/LMResponse 接口，为未来 LiteLLM 解耦做准备。此外，numpy 变
5月27日周三 · 1 条
正文结构化主题已通过公开置信门槛
SGLang v0.5.12.post1 发布：修复 DeepSeek V4 多项稳定性问题
SGLang 发布 v0.5.12.post1 稳定性补丁，包含 12 个修复，主要针对 DeepSeek V4 系列问题，如 B200/B300 上的解码乱码、EAGLE/MTP 崩溃、NSA 预填充调度器崩溃等，并修复了 PD 分离、HiSparse 精度等问题。性能方面优化了冷启动延迟和 JIT 编译成本。
5月19日周二 · 1 条
正文结构化主题已通过公开置信门槛
Dify v1.14.2 发布：安全加固与工作流可靠性提升
Dify 发布 v1.14.2 补丁版本，重点进行安全加固、工作流可靠性提升、知识库稳定性修复以及部署和运行时调优。该版本加强了租户隔离和工具凭证安全，修复了工作流执行、RAG 管道和知识库的多个问题，并升级了插件守护进程和依赖。这些改进增强了 Dify 平台的安全性和稳定性，为后续的 Agent 功能奠定基础。
5月17日周日 · 1 条
正文结构化主题已通过公开置信门槛
SGLang v0.5.12 发布：全面支持 DeepSeek V4 并新增多项优化
SGLang v0.5.12 发布，重点支持 DeepSeek V4 的完整推理路径，包括多种并行策略、硬件适配、预填充-解码分离、HiSparse 和 HiCache 等特性，并新增多个模型支持如 Intern-S2-Preview、MiniCPM-V 4.6 等。此外，还集成了 TokenSpeed MLA 注意力后端，优化了 FP4 低延迟性能，并迁移
5月16日周六 · 1 条
正文结构化主题已通过公开置信门槛
LLM架构新进展：KV共享、mHC与压缩注意力降低长上下文成本
本文回顾了近期开源大语言模型在长上下文效率方面的架构创新，重点分析了Gemma 4的KV共享与逐层嵌入、Laguna XS.2的逐层注意力预算、ZAYA1的压缩卷积注意力以及DeepSeek V4的mHC与压缩注意力。这些设计旨在减少KV缓存大小和内存开销，以支持更长的上下文和推理模型。文章指出，这些改动虽看似微小，但涉及Transformer块、残差流和注
5月15日周五 · 1 条
正文结构化主题已通过公开置信门槛
vLLM v0.21.0 发布：弃用 transformers v4，新增多项性能优化
vLLM 发布 v0.21.0 版本，包含 367 个提交，来自 202 位贡献者。该版本正式弃用 transformers v4，要求 C++20 编译器，并引入 KV 卸载与混合内存分配器集成、推理预算感知的投机解码、Blackwell 上的 TOKENSPEED MLA 后端等新特性。同时新增多种模型架构支持，并在性能、硬件支持（如 AMD ROCm、
5月8日周五 · 1 条
正文结构化主题已通过公开置信门槛
自适应并行推理：高效推理扩展的新范式
Berkeley AI Research Blog 发表文章，探讨自适应并行推理作为高效推理扩展的新范式。文章指出，现有并行推理方法（如自一致性、树搜索等）的并行结构由外部决定，而自适应方法让模型自主决定何时分解任务、并行线程数及协调方式。文章分析了 ParaThinker、GroupThink、Hogwild! Inference 等近期方法，并强调不同问
5月7日周四 · 1 条
正文结构化主题已通过公开置信门槛
Gemini 3.1 Flash-Lite 正式版发布，预览版即将弃用
Gemini API 于 2026 年 5 月 7 日发布 gemini-3.1-flash-lite 的正式版（GA），该模型针对速度、规模和成本效率进行了优化。同时，官方宣布 gemini-3.1-flash-lite-preview 预览版将于 2026 年 5 月 11 日弃用，并于 2026 年 5 月 25 日关闭。
5月6日周三 · 2 条
正文结构化主题已通过公开置信门槛
SGLang v0.5.11 发布：CUDA 13 升级、推测解码 V2 默认启用，新增多模型支持
SGLang 发布 v0.5.11 版本，默认 CUDA 版本升级至 13.0，PyTorch 升级至 2.11，并默认启用 Speculative Decoding V2 以降低 CPU 开销。该版本新增了对 Gemma 4、GLM-5.1、Qwen3.6、MiMo-V2.5、Kimi-K2.6 等新模型的支持，并增强了 PD 分离场景下的解码端 Radi
正文结构化主题已通过公开置信门槛
DSPy 3.2.1 发布：修复异步流式调用与缓存问题
DSPy 发布了 3.2.1 版本，主要移除了对 litellm 的上限限制，并修复了异步流式调用和 Embedder 缓存问题。同时更新了文档和 CI 流程，包括部署文档调整和 TestPyPI 发布验证强化。该版本还更新了多个依赖，并新增了两位贡献者的首次贡献。
3月26日周四 · 1 条
正文结构化主题已通过公开置信门槛
Cohere 发布开源 ASR 模型 Transcribe，刷新语音识别准确率纪录
Cohere 发布了开源自动语音识别模型 Transcribe，基于 Conformer 架构，支持 14 种语言，在 HuggingFace Open ASR 排行榜上以 5.42% 的平均词错误率排名第一，超越 Whisper Large v3 等模型。该模型注重生产就绪性，提供高效推理和多种部署方式，并计划与 Cohere 的代理编排平台 North
3月23日周一 · 1 条
正文结构化主题已通过公开置信门槛
Mistral AI 发布 Voxtral TTS 多语言语音生成模型
Mistral AI 发布了 Voxtral TTS，一个 4B 参数的多语言文本转语音模型，支持 9 种语言，具有低延迟和情感表达。该模型可通过 API 和 Mistral Studio 使用，定价为每 1k 字符 0.016 美元，并支持零样本跨语言语音适应。
3月15日周日 · 1 条
正文结构化主题已通过公开置信门槛
智谱发布GLM-5-Turbo基座模型，优化龙虾场景任务执行
智谱AI于2026年3月15日发布了GLM-5-Turbo基座模型，该模型针对OpenClaw龙虾场景进行了深度优化，强化了外部工具调用和多步任务稳定性，提升了复杂指令拆解、多智能体协同、时间理解及长任务执行效率。该模型旨在提升数据吞吐量大、逻辑链条长的任务处理能力。
3月13日周五 · 1 条
正文结构化主题已通过公开置信门槛
百度千帆更新：新增Qwen3.5多模态模型及多项服务升级
百度千帆平台于2026年3月13日发布多项更新，包括新增多款Qwen3.5多模态模型、支持GLM-5和Kimi-K2.5的TPM配额购买，并升级Coding Plan至Kimi-K2.5且支持MiniMax-M2.5。同时，AI助手升级为智能调度模式，提供多模态问答能力，并新增百度热搜、百度搜索MCP版等工具。