返回全部动态
llama.cpp b12208：CUDA/Metal radix Top-K 并列选择确定化
原标题：b12208
AI 摘要
llama.cpp 发布 b12208 版本，主要更新 ggml 的 CUDA/Metal radix Top-K 实现，使阈值处并列候选的选择结果确定化，输出在不同运行间字节一致。Metal 端用 simdgroup 扫描替代原子计数器压缩，在 M5 Ultra 上 top-k 耗时降低约 20-45%，并启用 Metal 与 ROCm 的确定性自检。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> ggml : update CUDA/Metal radix Top-K to make tied selections deterministic (#31084) * ggml : fix for the radix TOP_K thread timing bug * make the key an ordered 64-bit pair * a rewrite without shift-skip logic * fix casts * warp-contiguous layout * reduce the scope removing vulkan+metal changes * turn it off for Metal/ROCm, note about cub::DeviceTopK * fix the hip build * skip Vulkan as well * popc lambda from fattn * do block_cols math in int64_t * make it allowlist
发布时间：2026-11-08 23:47
抓取时间：2026-11-09 00:23
来源机构：ggml-org