返回全部动态

llama.cpp b11744:server 新增 --connect 支持跨局域网 P2P 访问

原标题:b11744

llama.cpp Releases一手来源开源质量 67

AI 摘要

llama.cpp 发布 b11744 版本,为其 server 组件新增 --connect 选项,允许通过 llama-connect 隧道让局域网外的客户端以点对点方式访问本地推理服务,该功能被明确标注为实验性。同时修复了未启用隧道时仍展示 connect code 的问题,并改进了端口绑定、主机选择及 Unix socket 场景下的处理。此次更新还提供了覆盖 macOS、Linux、Windows、Android 及多种 GPU 后端(CUDA、Vulkan、ROCm、SYCL 等)的预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> server: add --connect, allow p2p access to server outside LAN (#28277) * init * wip * wire it up * make it clear that it's experimental * add props.connect_code * nits * fix windows build * server: do not advertise a connect code without the tunnel --connect-code on its own had no effect other than being served in /props, so the Web UI showed a remote access code that no tunnel was serving. Clear it when --connect is off, and say so once at startup. The teardown comment


发布时间:2026-10-20 06:54
抓取时间:2026-10-20 07:43
来源机构:ggml-org
阅读原文github.com