llama.cpp v0.7.0 发布：新增 MoE 专家 GPU 缓存与多种投机解码
原标题：v0.7.0
AI 摘要
llama.cpp 发布 v0.7.0，新增 LiliCorr 投机解码技术、GLM5-Next 的 MTP 投机解码，以及面向 MoE 专家权重的 GPU 缓存（--moe-cache-mib，专家卸载时解码最高约 2.2 倍加速）。同时新增 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、LiquidAI d1/d1-omni、MiniCPM-V 4.7、Nemotron Super 3.5 VL 等大量模型支持，并重构服务端聊天会话 API、默认端口改为 9931、更新 ggml 至 v0.27.0。
正文节选
## Overview llama.cpp v0.7.0 adds the LiliCorr speculative decoding technique and MTP for GLM5-Next, a new GPU cache for MoE experts kept in host memory (`--moe-cache-mib`, up to ~2.2x decode speedup when experts are offloaded), and a large batch of new models: K2 Horizon (dense and MoVA), Prism Bonsai 2 27B, EmbeddingGemma-2 (text+vision+audio), the LiquidAI d1/d1-omni and vLLM decision 2/d3 decision models, pplx-decider, MiniCPM-V 4.7, Nemotron Super 3.5 VL / Nemotron Bolt and maion-coder.