Nanbeige4.3-33B 发布 GSQ-RCO GGUF 量化版

AI 摘要

开发者 abenzerps 在 Hugging Face 发布了 Nanbeige4.3-33B 的 GSQ-RCO 混合精度 GGUF 量化版本，提供从 IQ2_XXS（2.40 bpw，9.9GB）到 Q5_K_M（5.75 bpw，23.8GB）共 7 个文件，推荐 IQ2_M。该版本面向 llama.cpp 本地推理优化，支持 OpenAI 兼容本地服务，并可通过 4-bit KV cache 在 12GB 显存消费级 GPU 上运行 64k 长上下文，同时提供 Ollama 调用方式。

正文节选

--- language: - en - zh license: apache-2.0 library_name: gguf tags: - text-generation - gsq - rco - llama.cpp - quantized - reasoning - nanbeige - mixed-precision base_model: Nanbeige/Nanbeige4.3-33B base_model_relation: quantized pipeline_tag: text-generation --- [](https://abenzerps.com/request-a-model/) # Nanbeige4.3-33B GSQ-RCO GGUF Mixed-precision **GSQ-

发布时间：2026-10-27 19:41

抓取时间：2026-10-27 19:42

来源机构：Hugging Face