返回全部动态

llama.cpp b11284:修复 OpenVINO 量化权重视图 GET_ROWS

原标题:b11284

llama.cpp Releases一手来源开源质量 71

AI 摘要

llama.cpp 发布 b11284 版本,主要修复 OpenVINO 后端对量化权重视图的处理:在收集权重常量时解析 view_src,使量化权重的视图不再变成动态类型参数,并将视图的行偏移折叠进 gather 索引,而非切分反量化子图。该改动同时解除了对带非零偏移的量化 src0 视图的 supports_op 拒绝,使 #28253 中的 vs0 GET_ROWS 用例可在 OpenVINO 上运行。版本附带 macOS、Linux、Windows、Android 等多平台预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> openvino: serve GET_ROWS on a weight view from the base Constant (#28381) * openvino: serve GET_ROWS on a weight view from the base Constant Resolve view_src when collecting weight Constants so a view over a quantized weight no longer becomes a dynamic typed Parameter, and fold the row offset of the view into the gather indices instead of slicing the dequantization subgraph. * openvino: lift the quantized GET_ROWS view rejection The supports_op rejection of a quantized src0 v


发布时间:2026-09-30 20:35
抓取时间:2026-09-30 21:11
来源机构:ggml-org
阅读原文github.com