返回全部动态

llama.cpp b12008 修复 gemma 模型 token_embd 重复占用

原标题:b12008

llama.cpp Releases一手来源开源质量 68

AI 摘要

llama.cpp 发布 b12008 版本,修复了 gemma3n 与 gemma4 模型在加载时 token_embd 与绑定输出共享缓冲区导致重复占用的问题,改为先创建 token_embd。在 CPU-only(-ngl 0)、无 mmap 场景下,gemma-4-E2B-it Q4_K_M 的 CPU 模型缓冲区从 3163.73 MiB 降至 2947.73 MiB。该版本同时提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL 等后端构建包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> gemma3n, gemma4 : create token_embd before the tied output (#31394) The duplicated output looks up token_embd in its buffer context, so token_embd must exist first. With the old order a load where input and output share a buffer type (CPU-only, -ngl 0) held the table twice: gemma-4-E2B-it Q4_K_M, no mmap, CPU model buffer 3163.73 -> 2947.73 MiB. </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/61785118> **m


发布时间:2026-10-30 22:06
抓取时间:2026-10-30 22:23
来源机构:ggml-org
阅读原文github.com