Transformers v5.22.0 发布：支持 Mistral Large 4 万亿参数 MoE 模型
原标题：v5.22.0: Mistral Large 4 (Le Chonk)
AI 摘要
Transformers v5.22.0 发布，新增 Mistral Large 4（Le Chonk）模型支持。该模型是 Mistral 迄今最大最强的模型，约 1 万亿参数的原生多模态 MoE 架构，每 token 激活约 520 亿参数，支持 100 万 token 上下文、160 多种语言及可配置推理强度，采用修改版 MIT 的开放权重许可。此外该版本将专家并行逻辑拆分为独立文件，并支持在 FP8 量化权重上训练 LoRA 等适配器，显著降低 MoE 层反向传播峰值显存。
正文节选
## New Models ### Mistral Large 4 (Le Chonk) <img width="1329" height="780" alt="image" src="https://github.com/user-attachments/assets/1cff9ca7-19e3-4622-8db6-fb1cfa842579" /> Mistral Large 4 is Mistral's largest and most capable model to date: a 1 trillion-parameter natively multimodal Mixture-of-Experts model with 49 billion active parameters per token (52 billion including embeddings and output layers), trained from scratch on 3,800 NVIDIA Grace Blackwell GPUs in Mistral's own datac