返回全部动态
llama.cpp b12144：CUDA 优化 MoE 数据布局
原标题：b12144
AI 摘要
llama.cpp 发布 b12144 版本，主要变更是 CUDA 后端针对 MMQ/MMF 将 MoE 数据布局线性化，并更广泛地应用 MMQ tile size 优化，同时修复了 F16 性能回退问题。该版本同步提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> CUDA: linearize MoE data layout for MMQ/MMF (#31047) * CUDA: linearize MoE data layout for MMQ/MMF * Apply MMQ tile size optimization more generally * Fix F16 performance regression </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/64340308> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b12144/llama-b12144-bin-macos-arm64.tar.gz) - macOS Apple Silico
发布时间：2026-11-06 11:45
抓取时间：2026-11-06 12:35
来源机构：ggml-org