Ornith-1.5-9B MTP GGUF 发布：内置推测解码头，多档量化优化
原标题：protoLabsAI/Ornith-1.5-9B-MTP-GGUF
AI 摘要
protoLabsAI 发布了 Ornith-1.5-9B 模型的 GGUF 量化版本，内置蒸馏 MTP 草稿头，支持 llama.cpp 的无损多 token 自推测解码，无需单独草稿模型。该版本针对不同硬件提供多种量化档位，其中 NVFP4 在 Blackwell 上速度最快（299 tok/s），IQ4_XS 适合 6GB 显存，但 IQ2_M 在长文本生成中易退化。模型还包含视觉投影器，支持图像输入，并提供了推荐的采样参数以避免重复生成。
正文节选
--- license: mit base_model: ornith-ai/Ornith-1.5-9B base_model_relation: quantized tags: - gguf - llama.cpp - speculative-decoding - mtp - multi-token-prediction - qwen3.5 - vision pipeline_tag: image-text-to-text --- # Ornith-1.5-9B MTP — GGUF (llama.cpp speculative decoding) GGUF builds of [`ornith-ai/Ornith-1.5-9B`](https://huggingface.co/ornith-ai/Ornith-1.5-9B) with a **distilled MTP draft head baked into the trunk** — llama.cpp does lossless multi-token self-speculative de