小米发布 MiMo-V2.6-Pro-MOPD 模型
原标题:XiaomiMiMo/MiMo-V2.6-Pro-MOPD
AI 摘要
小米发布 MiMo-V2.6-Pro-MOPD 模型,这是 MiMo-V2.6-Pro-RL 检查点的 MOPD 升级版。MOPD2 方法将多个领域专家教师模型在策略上蒸馏进学生模型,覆盖长周期游戏开发、科学研究和具身智能等难以验证的领域。该版本还针对 agent 场景中工具调用重复(反复发出相同或高度相似调用、看似忙碌却无进展)的失败模式进行了诊断与缓解。模型采用稀疏 MoE 架构,总参数 1.02T、激活 42B,支持 1M 上下文与文本、图像、视频、音频多模态。
正文节选
--- license: mit language: - en - zh tags: - text-generation - multimodal - vision-language - audio - agent - video-understanding - long-context - mimo_v2 - transformers library_name: transformers --- <br/><br/> <div align="center"> <picture> <source srcset="https://github.com/XiaomiMiMo/MiMo/raw/main/figures/Xiaomi_MiMo_darkmode.png?raw=true" media="(prefers-color-scheme: dark)"> <img src="https://github.com/XiaomiMiMo/MiMo/raw/main/figures/Xiaomi_MiMo.png?raw=true" width="60%" alt="