inclusionAI 发布轻量级混合推理 MoE 模型 Ling-3.0-tiny
原标题：inclusionAI/Ling-3.0-tiny
AI 摘要
inclusionAI 发布了 Ling-3.0-tiny，一个轻量级混合推理 MoE 模型，总参数量 7.9B，每 token 仅激活 1.4B 参数。该模型采用 KDA 与 MLA 交替的混合线性架构，支持可配置的思考模式，并针对本地和边缘部署优化，在 DGX Spark 和 M4 Pro MacBook 上分别达到约 100-105 tokens/s 和 86-90 tokens/s 的推理速度。模型提供 BF16、FP8 和 INT4 权重，适用于多种硬件环境。
正文节选
--- license: mit pipeline_tag: text-generation --- <p align="center"> <img src="https://mdn.alipayobjects.com/huamei_qa8qxu/afts/img/A*4QxcQrBlTiAAAAAAQXAAAAgAemJ7AQ/original" width="100"/> </p> <p align="center">🤗 <a href="https://huggingface.co/inclusionAI">Hugging Face</a> | 🤖 <a href="https://modelscope.cn/organization/inclusionAI">ModelScope </a> | 🐙 <a href="https://openrouter.ai/inclusionai/ling-3.0-tiny:free">OpenRouter </a>