返回全部动态

llama.cpp 发布 b11306:测试切换 causal_attn 捕获图形状变化

原标题:b11306

llama.cpp Releases一手来源开源质量 57

AI 摘要

llama.cpp 发布 b11306 版本,主要更新是 test-llama-archs 测试中切换 causal_attn 标志以捕获图结构变化,用于检测依赖该标志的图形状在 GGML_SCHED_NO_REALLOC 下导致的重新分配中止问题,编码类架构跳过该测试。同时提供 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> test-llama-archs : toggle causal_attn to catch graph shape changes (#29724) After the device decode, flip causal_attn off, decode n_ubatch/2 then n_ubatch tokens. Both have the same node count, so a shape that depends on the flag makes the second reallocate at an unchanged graph size, which aborts under GGML_SCHED_NO_REALLOC. Skipped for the encode archs. </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/5164


发布时间:2026-10-01 07:33
抓取时间:2026-10-01 07:36
来源机构:ggml-org
阅读原文github.com