NCP-ArchPreview：通过下一概念预测迈向潜在空间语言模型
原标题：NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
AI 摘要
上海AI Lab与上海交大LUMIA Lab联合发布NCP-ArchPreview技术报告，提出一种在标准下一词预测（NTP）之外增加下一概念预测（NCP）的潜在空间语言模型。该模型通过从隐藏状态构建乘积量化概念词表，并用专门的Concept Module预测跨多token的离散概念，再反馈到token层指导生成，NTP与NCP端到端联合训练。模型规模达8.9B参数，在Dolma-3的5.73T token上训练，仅用51.3%训练token即达到OLMo-3-7B的最终预训练损失，下游宏平均超出2.45分，GSM8K提升5.99分，并开源了Stage-1检查点、drafter模型及最终检查点。
正文节选
[Page 1] NCP-ArchPreview Technical Report 2026-09-11 NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction The Intern-NCP Team Shanghai AI Lab; LUMIA Lab, Shanghai Jiao Tong University https://huggingface.co/collections/ArchSpace-Collection/ncp-archpreview https://github.com/InternLM/lmdeploy https://github.com/LUMIA-Group/ncp_olmo_eval 2026 Abst