llama.cpp b12079 新增 NCCL 多节点张量并行支持

AI 摘要

llama.cpp 发布 b12079 版本，新增基于 NCCL 的多节点张量并行支持。该改动为跨进程 rank 的集合通信添加了后端接口，并在 CUDA 后端用 NCCL 实现，在可用时接入 RPC 服务器；同时重构了通信接口，并为 DGX Spark 将 ncclConfig_t 的 maxCTAs 设为 8。此次更新让 llama.cpp 可在多机多卡环境下进行张量并行推理，并同步提供各平台预编译包。

正文节选

<details open> Add nccl support for multi-node tensor parallelism (#28967) * Add a backend interface for collectives across ranks running in separate processes, implement it in the CUDA backend using NCCL, and use it in the RPC server when available. * Drop ggml_backend_comm_allreduce_rank_t and reuse ggml_backend_comm_allreduce_tensor for per-rank communicators * reuse ggml_backend_cuda_comm_allreduce_nccl for per-rank communicators. Remove the helper function backend_comm_proc_address * C

发布时间：2026-11-04 05:58

抓取时间：2026-11-04 06:14

来源机构：ggml-org