返回全部动态

llama.cpp b10796 发布:新增 n_expert_used_max 函数支持异构 MoE

原标题:b10796

llama.cpp Releases一手来源产品发布质量 79

AI 摘要

llama.cpp 发布 b10796 版本,新增 n_expert_used_max 函数以支持每层具有不同专家数量的 MoE 模型,修复了模型加载时的错误检查问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> src : add n_expert_used_max function (#28323) * src : add n_expert_used_max function With Commit c61b98b875eaa5e654a3f5c73b34c310d2c6ab4c ("model: add NVIDIA Nemotron-3-Puzzle-75B-A9B (NemotronHPuzzle) support (#25444)") it is now possible for each layer to have a specific number of experts but there are a few checks that need to be updated to handle this upon model loading. For example: ```console llama_model_load: error loading model: model has expert layers but no expert lay


发布时间:2026-09-04 13:31
抓取时间:2026-09-04 14:21
来源机构:ggml-org
阅读原文github.com