返回全部动态
llama.cpp b12228:ggml 为 TRI 算子实现反向传播
原标题:b12228
AI 摘要
llama.cpp 发布 b12228 版本,核心变更为在 ggml 中为 TRI 算子实现反向传播:此前 GGML_OP_TRI 在 backward switch 中缺少分支,含该算子的可训练计算图会因报错中止。由于该算子为线性运算,其梯度采用相同的掩码方式处理,并先将可能非连续的传入梯度转为连续以满足 ggml_tri 要求。该版本同时提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL 等后端构建产物。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> ggml : implement the backward pass for TRI (#30712) * ggml: implement the backward pass for TRI GGML_OP_TRI had no case in the backward switch, so a trainable graph containing it aborted with "unsupported ggml op for backward pass: TRI". The op is linear, so its gradient is masked the same way. The incoming gradient is not necessarily contiguous (the backward of a transpose hands over a view) and ggml_tri requires contiguity, so it is made contiguous first. test_tri gains a po
发布时间:2026-11-10 00:23
抓取时间:2026-11-10 01:16
来源机构:ggml-org