MiniMax 发布原生多模态模型 M3:1M 上下文、428B 参数
原标题:MiniMaxAI/MiniMax-M3
AI 摘要
MiniMax 在 Hugging Face 发布原生多模态模型 MiniMax-M3,约 428B 总参数、23B 激活参数,支持 1M 上下文。该模型从训练第一步即进行混合模态训练,并引入 MiniMax Sparse Attention(MSA)稀疏注意力,在 1M 上下文下相较 M2 实现 9 倍 prefill 与 15 倍 decode 加速,单 token 计算量降至 1/20。官方称其在长程 agentic 基准上达到前沿水平,擅长编程与协作任务,并支持 SGLang、vLLM、Transformers 等本地部署框架。
正文节选
--- pipeline_tag: image-text-to-text license: other license_name: minimax-community license_link: LICENSE library_name: transformers tags: - multimodal - moe - agent - coding - video --- <div align="center"> <img width="60%" src="figures/logo.svg" alt="MiniMax"> </div> <hr> <p align="center"> <a href="https://agent.minimax.io/" target="_blank"><img src="https://img.shields.io/badge/MiniMax%20Code-FF6C37?logo=minimax&logoColor=white" alt="MiniMax Code"></a> <a href="https://plat