返回全部动态
llama.cpp b10687 优化 Adreno GPU 矩阵乘法，提升 prefill 性能
原标题：b10687
AI 摘要
llama.cpp 发布 b10687 版本，针对 Adreno GPU 优化了 OpenCL 矩阵乘法路径。在 X2E 上默认启用 xmem F16xF32 GEMM，使 gpt-oss-20b 的 prefill 性能提升约 25%；在 A7X 上绕过 tiled f32 GEMM，使 gemma-3n-E4B 的 prefill 性能提升约 9%。这些优化不影响 decode 阶段，并提供了环境变量覆盖选项。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> opencl: use a better matmul path on two Adreno GPU generations (#27640) * opencl: default the Adreno xmem F16xF32 GEMM on for X2E kernel_mul_mm_f16_f32_l4_lm is the slowest matmul this backend has on Adreno: on the X2-90 it runs the gpt-oss-20b attention projections at roughly a quarter of what the tuned dense q4_0 GEMM reaches on the same device. That matters for any model whose non-expert weights stay f16 -- the stock gpt-oss-20b release is exactly that, and its prefill spend
发布时间：2026-08-30 02:23
抓取时间：2026-08-30 03:17
来源机构：ggml-org