返回全部动态
llama.cpp b10247 发布:修复宽 MoE 模型多后端加载崩溃
原标题:b10247
AI 摘要
llama.cpp 发布 b10247 版本,主要更新是 ggml 后端调度器改用动态分配来管理分割图输入,替代原先固定大小的数组,解决了加载 Gemma 4、Qwen MoE、Mixtral、DeepSeek 等宽 MoE 模型时在多后端环境下因图分割超过 30 个输入张量而导致的崩溃问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> ggml: use dynamic allocation for split graph inputs (#22789) * ggml: use dynamic allocation for split graph inputs Replace fixed-size GGML_SCHED_MAX_SPLIT_INPUTS arrays with dynamically allocated buffers in the backend scheduler. This fixes crashes when loading wide MoE models (Gemma 4, Qwen MoE, Mixtral, DeepSeek) on multi-backend setups where graph splits exceed 30 input tensors. - split->inputs: dynamic array with grow-on-demand - sched->graph_inputs: dynamic array with gro
发布时间:2026-08-04 08:22
抓取时间:2026-08-04 08:39
来源机构:ggml-org