返回全部动态
llama.cpp b11632：CUDA/HIP 新增 GDN 分块内核
原标题：b11632
AI 摘要
llama.cpp 发布 b11632 版本，为 CUDA 和 HIP 后端新增 GDN（Gated Delta Net）分块内核，代码移植自 tetherto/qvac-fabric-llm.cpp 的 PR #257。该更新在经 RTX 3090 与 RTX 4090 验证后，为 Ampere（SM86）和 Ada（SM89）架构启用 GDN MMA，未测试架构仍保留原有回退路径。同时修复了旧版本构建问题，并明确 GDN 仅在 n_tokens > K 时保证最终状态。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> cuda, hip: GDN chunked kernel (#29353) * cuda, hip: GDN chunked kernel Ported-from: https://github.com/tetherto/qvac-fabric-llm.cpp/pull/257 Source-commit: 53f0027d8070715fe9ad2131f3201bb0001d4eed Co-authored-by: Aman Gupta <aman.gupta@tether.io> * fix older builds * review fixes * cuda: enable GDN MMA on tested Ampere and Ada GPUs Enable SM86 and SM89 after RTX 3090 and RTX 4090 correctness and prefill benchmarks. Keep other untested architectures on the existing fallback.
发布时间：2026-10-15 11:20
抓取时间：2026-10-15 12:17
来源机构：ggml-org