opencoti-llamafile：集成多项 KV 与投机解码优化的单文件推理引擎
原标题：ManniX-ITA/opencoti-llamafile
AI 摘要
ManniX-ITA 在 Hugging Face 发布 opencoti-llamafile，这是基于 Mozilla-Ocho llamafile 的单文件推理引擎，并集成了 opencoti 补丁系列。它新增了 PolyKV/KVarN 的 KV 驻留与量化、KV 滚动窗口、弹性多会话服务、DCA 长上下文扩展、MTP 投机解码、稀疏注意力、RYS 层复制，以及 CUDA 和 Vulkan 双 GPU 后端。该引擎主要针对 Gemma-4 系列调优，Qwen 系列作为次要验证目标；其他架构则回退到上游行为。
正文节选
--- license: apache-2.0 tags: - llamafile - llama.cpp - gguf - inference-engine - cuda - vulkan - opencoti --- # opencoti-llamafile Self-contained single-file inference engine from the [opencoti](https://github.com/mann1x/opencoti) project — a [Mozilla-Ocho llamafile](https://github.com/Mozilla-Ocho/llamafile) base carrying the opencoti patch series: advanced KV residency/quantization (PolyKV, KVarN — see `docs/features/kvarn.md`), the KV rolling window (a KV cache larger than VR