inclusionAI 开源 Ling-mini-2.0：16B MoE 模型仅激活 1.4B
原标题：inclusionAI/Ling-mini-2.0
AI 摘要
inclusionAI 开源了 Ling 2.0 系列首个模型 Ling-mini-2.0，这是一个基于 MoE 架构的大语言模型，总参数 16B、每 token 仅激活 1.4B（非嵌入 789M），在 20T+ tokens 上训练。该模型采用 1/32 激活比、MTP、QK-Norm 等设计，宣称以 1.4B 激活参数达到 7-8B 稠密模型性能，在 H20 上生成速度超 300 token/s，并支持 128K 上下文。团队同时开源了 FP8 高效训练方案及五个预训练检查点。
正文节选
--- license: mit base_model: - inclusionAI/Ling-mini-base-2.0 pipeline_tag: text-generation library_name: transformers --- <p align="center"> <img src="https://mdn.alipayobjects.com/huamei_qa8qxu/afts/img/A*4QxcQrBlTiAAAAAAQXAAAAgAemJ7AQ/original" width="100"/> <p> <p align="center">🤗 <a href="https://huggingface.co/inclusionAI">Hugging Face</a>   |   🤖 <a href="https://modelscope.cn/organization/inclusionAI">ModelScope</a>   |   🐙 <a href="https://zenmux.a