返回全部动态
llama.cpp b10238 发布,新增 Qwen3-Next MTP 支持
原标题:b10238
AI 摘要
llama.cpp 发布 b10238 版本,主要新增对 Qwen3-Next 模型的多 token 预测(MTP)支持,并修复了相关 Python 类型检查问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> model: MTP support for Qwen3-Next (#25589) * mtp for qwen3nex * fix for python type-check * Fix to compute num_mtp from directly mtp layer * define opt_num_mtp_layers in _QwenMtpMixin and fix some comments * Fix for python type check * Update gguf-py/gguf/constants.py Co-authored-by: Sigbjørn Skjæret <sigbjorn.skjaeret@huggingface.co> * rebase and add load_mtp flags * Update src/models/qwen3next.cpp Co-authored-by: Sigbjørn Skjæret <sigbjorn.skjaeret@huggingface.co> *
发布时间:2026-08-03 16:56
抓取时间:2026-08-03 17:39
来源机构:ggml-org