返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3309 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

10月21日周三 · 20 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11781 为 server 新增 TTS 端点

llama.cpp 发布 b11781 版本，在 server 中新增 POST /tts 端点以支持 TTS 模型，并引入 mtmd 音频输出流 API、通过 form-data 上传 speaker ref、向 API 暴露 seed 参数，同时修复了 PCM 头、penalty last n、server output limits 及 pocket-

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源API 更新

llama.cpp b11780 为 server 新增实时转录 API

llama.cpp 发布 b11780 版本，其 server 组件新增实时转录 API（realtime transcription API），支持 WebSocket 代理与 API key 中间件在握手阶段鉴权。该实现按 Realtime 规范调整了会话对象结构（GA transcription session shape）、音频缓冲区提交事件顺序，并

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

GRaSP：地理分布式RAG的延迟感知优化

该论文提出 GRaSP，一种面向地理分布式 RAG 的延迟感知重排序层，在语义相关性基础上按网络延迟衰减并可选加入跨区出口成本惩罚，同时满足全局与分区域选取上限，无需重训练或重建索引。作者证明基础问题可被 O(NlogN) 贪心算法最优求解，仅在加入硬性出口预算等约束时变为 NP-hard。在 CloudLab 四区域 WAN 与 Natural Quest

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

MOSS：搜索与推荐系统语义故障监控诊断框架

论文提出 MOSS，一个面向搜索与推荐系统的生产级语义质量监控框架，将基于 LLM 的相关性打分嵌入持续监控循环，并加入定向采样、策略感知提示、结构化告警和诊断性追问提示，把低分案例归类为可操作的根因。MOSS 已在美国一家大型零售商的生产环境运行超过六个月，覆盖推荐、搜索和优惠场景，发现两个已确认的服务缺陷，其中一个回填混合缺陷的修复方案经离线评估可使告警

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

SAGE-CP：自适应VLM集成中边际覆盖掩盖路由条件失败

论文提出 SAGE-CP 方法，针对自适应视觉语言模型（VLM）集成中边际覆盖可能掩盖特定路由条件失败的问题。作者证明，在单一 conformal 阈值下，某条路由的覆盖率可能降至零，而整体预测器仍保持边际有效。SAGE-CP 通过在开发数据上学习并冻结路由策略，再对早退和升级输入分别进行 Mondrian 分组校准，在十个基准上把平均最差路由覆盖率从较低水

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

PolyGraph：面向自适应投机解码的 plan-buffer CUDA Graph

论文提出 PolyGraph，一种面向自定义 Triton 内核的 plan-buffer 机制，用于解决自适应投机解码中 CUDA Graph 只能重放固定形状的问题。它只捕获一个最大网格的图，并在每次重放前用 28 字节异步拷贝把当前活跃形状写入 GPU 内存，内核据此跳过超出范围的 tile。在单张 NVIDIA H800 上，以 Qwen2.5-3B

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11778 新增 Nemotron-3(.5)-Embed 支持

llama.cpp 发布 b11778 版本，主要变更是新增对 Nemotron-3(.5)-Embed 嵌入模型的支持（PR #30877）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包，包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新使

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11777：Qwen 输出改为 2D

llama.cpp 发布 b11777 版本，主要变更是将 Qwen 模型的输出从 3D 重塑为 2D，并移除最终 reshape、修正注释（PR #30823）。同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11776：投机解码支持 logprobs

llama.cpp 发布 b11776 版本，其 server 组件新增在投机解码（speculative decoding）路径下返回 logprobs 的支持（PR #27196），并补充了回归测试，验证被接受的草稿 token 会报告目标模型的 logprobs，与未启用草稿的基线对比。该修复解决了 master 分支上 top logprobs 为空

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering开源

TornadoVM 7 让 Java 应用支持 GPU 原生工作负载

开源 Java GPU 编程框架 TornadoVM 发布 7.3 版本，用 Foreign Function & Memory API 取代 JNI，移除实验性 JVMCI 依赖，并新增优化的 CUDA 后端、cuTile 编程模型支持、直接调用 cuBLAS/CUTLASS 等 CUDA 库的能力以及多 GPU 执行支持。团队同时推出基于 Tornado

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11774 修复 LFM2 图像切片与布局对齐

llama.cpp 发布 b11774 版本，修复了 mtmd 模块中 LFM2 系列视觉语言模型（LFM2-VL、LFM2.5-VL、d1-3B）的图像预处理逻辑。改动使图像切片改为直接拉伸到网格而非保持宽高比补黑边，并将 smart resize 的舍入与网格宽高比计算改为与 Python 一致的 double 精度，从而在 [1,4096]^2 范围内

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11773 新增 H2O-Lightning-4B 决策模型支持

llama.cpp 发布 b11773 版本，新增对 h2oai/h2o-lightning-4b 决策模型的支持，该模型基于 Qwen3.5-4B 并合并了决策 LoRA。由于现有类型均不匹配，转换器会从模型的 serve config.json 写入决策元数据和 systemone 模板，并将标签写入 GGUF 文件。此次更新使 llama.cpp 能够

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11772：修复 gemma 4 FFN 激活

llama.cpp 发布构建版本 b11772，主要修复 mtmd 模块中 gemma 4 的 FFN 激活函数问题（PR #30882）。该版本同步提供 macOS/iOS、Linux（含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端）、Android、Windows 及 UI 等多平台预编译包。此次更新属于开源推理框架的常规缺陷修

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

DavidAU 发布 Nemotron-3.5-Bolt 74B 的 IQ2 量化版，集成 Turbo Brilliance 系统

Hugging Face 用户 DavidAU 发布了基于 NVIDIA Nemotron-3.5-Bolt-74B-A9B 的 GGUF 量化模型，采用 IQ2 QAT 量化，可在 24GB 显存下运行。该模型集成了名为 Turbo Brilliance 的系统，提供 27 种推理模式和 27 种指令模式，以及 15 个 AI Constructs（预设角

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

DavidAU 发布 Qwen3.8-Flash-Next 无审查 Turbo-Brilliance GGUF 微调模型

Hugging Face 用户 DavidAU 发布了基于 SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF 微调的 GGUF 量化模型，宣称具备 120B/180B 参数、512 专家 MoE 架构，并集成 27 种推理模式、27 种指令模式及 15 个「AI Constructs」预设人格，支持在提示词或

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

DavidAU 发布 LFM2.5-24B Turbo Brilliance 微调模型

开发者 DavidAU 在 Hugging Face 发布了基于 LiquidAI/LFM2.5-24B-A2B 的微调量化模型 LFM2.5-24B-A2B-Turbo-Brilliance-50X-NEO-MAX-Imatrix-GGUF，主打名为 Turbo Brilliance 的系统，包含 27 种推理模式和 15 个 AI Constructs，

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11770：ggml-cuda 支持 ssm conv 核尺寸 7

llama.cpp 发布构建版本 b11770，主要变更是 ggml-cuda 后端新增对 ssm conv 卷积核尺寸 7 的支持（PR #30873）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于底层推理框架的增量

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11769：修复路由断连传播问题

llama.cpp 发布 b11769 版本，修复了 server 路由未将客户端断连完整传递给子进程、导致响应等待可能延迟取消的问题，并调整了相关测试。该版本同时提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL 等多种后端构建产物。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11767：从 GGUF 元数据读取 LFM2 分块参数

llama.cpp 发布 b11767 版本，主要改动在 mtmd 模块：转换 LFM2-VL mmproj 时，将 min tiles、max tiles、tile size 和 max pixels tolerance 等 tiling 参数写入 GGUF 元数据，clip.cpp 读取这些参数并以原有常量作为默认值；do image splitting

正文结构化主题已通过公开置信门槛
Cohere Blog一手来源模型发布

Cohere 发布 Rerank 5 检索模型，Pro 与 Fast 双版本上线

Cohere 发布企业级检索模型 Rerank 5，分为 Pro 和 Fast 两个版本，并推出可定位文档内最相关文本片段的新能力 Context Focus。Cohere 称 Rerank 5 Pro 在 ViDoRe V3、nanoMTEB、BRIGHT、BEIR 等公开基准上领先所有被测竞品，在 46 个复合数据集中有 39 个排名第一；Fast 版主