返回全部动态
llama.cpp b11710：CUDA 分组专家 top-k 融合优化
原标题：b11710
AI 摘要
llama.cpp 发布 b11710 版本，主要变更为在 CUDA 后端为分组专家（grouped experts）的 top-k 计算增加融合（fusion）优化，并补充了测试、修复了 HIP 相关问题，同时将该优化接入 graph_optimize。该版本同步提供 macOS、Linux、Windows、Android 等多平台、多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO 等）的预编译二进制包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> cuda : add grouped experts top-k fusion (#29181) * fuse grouped experts * add tests * hip fix * add to graph_optimize * apply suggestion from am17an * hip fix * fix hip fix * fix fix fix * gate on hip version instead </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/56948204> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11710/llama-b11710-bin
发布时间：2026-10-17 20:45
抓取时间：2026-10-17 21:05
来源机构：ggml-org