返回全部动态

llama.cpp b10760 发布:修复 Qwen3-TTS 精度问题

原标题:b10760

llama.cpp Releases一手来源产品发布质量 76

AI 摘要

llama.cpp 发布 b10760 版本,主要修复了 Qwen3-TTS-0.6B 模型在 mtmd 架构下的两个问题:一是将代码预测器的 proj_in 权重设为可选加载,二是将 ffn_down 层保持为 F32 精度,避免因 F16 溢出导致 NaN。该版本提供了多平台二进制文件,包括 macOS、Linux、Windows、Android 等。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> mtmd: Fix Qwen3-tts-0.6b (#28231) * mtmd: load the qwen3-tts code predictor proj_in as optional The talker and the code predictor share the hidden size on the 0.6B checkpoints, so the reference builds no small_to_mtp_projection and the conversion emits no tensor for it. The graph already falls back to identity when the weight is missing, the loader now agrees. * mtmd: keep the qwen3-tts code predictor ffn_down in F32 The code predictor carries a massive activation: its layer


发布时间:2026-09-02 19:14
抓取时间:2026-09-02 19:20
来源机构:ggml-org
阅读原文github.com