返回全部动态
llama.cpp b12002：ggml 新增批量张量拷贝 API 并支持 CUDA
原标题：b12002
AI 摘要
llama.cpp 发布 b12002 版本，核心变更为 ggml 新增通用批量张量拷贝 API，并在 llama 的 context IO 与设备 IO 中启用该 API，同时加入 CUDA 后端支持。该版本移除了异步 tensor_n API，改为按缓冲区类型分组批量操作，并新增 mock buffer 类型测试以覆盖调度逻辑与回退路径。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> ggml : add batched tensor copy API (#30881) * ggml : add generic batched tensor copy API Assisted-by: pi:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB) * llama : use batched tensor copy API in context io Assisted-by: pi:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB) * ggml : add batched tensor copy API Assisted-by: pi:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB) *
发布时间：2026-10-30 19:00
抓取时间：2026-10-30 19:11
来源机构：ggml-org