Moonshot AI 发布开源 2.8T 参数多模态智能体模型 Kimi K3
原标题:MoonshotAI/Kimi-K3 README.md
AI 摘要
Moonshot AI 发布了其最强大的开源权重模型 Kimi K3,这是一个 2.8 万亿参数的原生多模态智能体模型,采用 Kimi Delta Attention 和 Attention Residuals 架构,支持 100 万 token 上下文窗口。该模型激活 1040 亿参数,在 896 个专家中激活 16 个,据称相比 Kimi K2 在扩展效率上提升约 2.5 倍。Kimi K3 旨在用于长时程编码、知识工作和推理,并已在 Hugging Face 和 ModelScope 上发布完整权重。
正文节选
<div align="center"> <picture> <img src="assets/kimi-logo.png" width="30%" alt="Kimi K3"> </picture> </div> <hr> <div align="center" style="line-height:1"> <a href="https://www.kimi.com" target="_blank"><img alt="Chat" src="https://img.shields.io/badge/🤖%20Chat-Kimi%20K3-ff6b6b?color=1783ff&logoColor=white"/></a> <a href="https://www.moonshot.ai" target="_blank"><img alt="Homepage" src="https://img.shields.io/badge/Homepage-Moonshot%20AI-white?logo=Kimi&logoColor=white"/></a> </div