cyankiwi 发布 MiniCPM-SALA AWQ 8bit 量化模型
原标题：cyankiwi/MiniCPM-SALA-AWQ-8bit
AI 摘要
cyankiwi 在 Hugging Face 发布了 MiniCPM-SALA 的 AWQ 8bit 量化版本，该版本基于 openbmb/MiniCPM-SALA 量化而来，模型体积约 10.63 GB，采用 Apache-2.0 许可，支持中英文文本生成。原模型 MiniCPM-SALA 是首个融合稀疏注意力与线性注意力的大规模混合模型，面向百万级 token 上下文建模，官方称相比稠密基线可实现 3.5 倍推理加速并显著降低 KV-cache 开销。
正文节选
--- base_model: openbmb/MiniCPM-SALA base_model_relation: quantized language: - zh - en library_name: transformers license: apache-2.0 pipeline_tag: text-generation --- <div align="left"> <a href="https://cyan.kiwi" target="_blank"><img src="https://storage.googleapis.com/cyankiwi-assets/model-card/model-card-banners-cyankiwi.png" width="800" alt="cyankiwi, the LLM inference agent for open models"></a> </div> <div align="left"> <table style="border-collapse:collapse; border:none;"> <tr