OpenBMB 发布首个昇腾原生 1.58 位三元大模型 BitCPM-CANN
原标题：openbmb/BitCPM-CANN-8B
AI 摘要
OpenBMB 发布了 BitCPM-CANN 模型系列，这是首个基于华为昇腾 NPU 原生训练的端到端 1.58 位三元大语言模型系统。该系统将量化感知训练集成到 Megatron-LM 框架中，并使用 MindSpeed 加速，在昇腾 910B 上训练了 0.5B 至 8B 四个模型。在 11 项基准测试中，1B/3B/8B 模型保留了全精度性能的 95.7%–97.2%，推理时内存减少约 6 倍，训练吞吐量仅下降 5%。模型采用伪量化格式，可直接使用标准 Transformers 库加载推理。
正文节选
--- base_model: - openbmb/MiniCPM4-8B license: apache-2.0 language: - zh - en pipeline_tag: text-generation library_name: transformers --- <div align="center"> <img src="https://github.com/OpenBMB/MiniCPM/blob/main/assets/minicpm_logo.png?raw=true" width="500em" ></img> </div> <p align="center"> <a href="https://github.com/OpenBMB/MiniCPM/" target="_blank">GitHub Repo</a> | <a href="https://github.com/OpenBMB/MiniCPM/blob/main/docs/BitCPM_CANN.pdf" target="_blank">Technical Report</a> </p>