Qwen3.8-27B Escha-W2 的 GGUF 移植与 llama.cpp 内核解码
原标题：aj9o9/Qwen3.8-27B-Escha-W2-GGUF
AI 摘要
开发者 aj9o9 将 EschaLabs 的 Qwen3.8-27B-Escha-W2 模型移植到 llama.cpp，通过新增 GGML_OP_ESCHA_MUL_MAT 算子在内核中直接解码原生 2-bit escha 量化数据，无需解包为稠密张量。提供 Q8_0 和 F16 两种 GGUF 构建及可选的 MTP 推测解码草稿模型，但需要其 llama.cpp 分支才能加载。在 RTX 3090 上测试显示，与 Escha SGLang 运行时相比 top-1 一致率达 99.4%-99.7%，但生成速度仍慢于原运行时。
正文节选
--- license: apache-2.0 library_name: gguf pipeline_tag: text-generation base_model: EschaLabs/Qwen3.8-27B-Escha-W2 tags: - gguf - qwen3 - qwen3.8 - dense - escha - llama.cpp - mtp - speculative-decoding language: - en --- # Escha Qwen3.8-27B W2 GGUF (dense) I ported [EschaLabs/Qwen3.8-27B-Escha-W2](https://huggingface.co/EschaLabs/Qwen3.8-27B-Escha-W2) to llama.cpp. Weights are theirs. This is not a requant. I decode their native 2-bit escha code in-kernel, through a new op, `GGML_OP_ESCHA_M