llama.cpp b10359 发布：修复 WebGPU CI 错误并支持多平台
llama.cpp 发布 b10359 版本，主要修复了 ggml-webgpu 的 CI 错误，并添加了 i32 支持到 cpy 操作。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm 等多种后端。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3341 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月11日周二 · 16 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
生产全球最便宜Token的实用指南
在InfoQ的演讲中，Doubleword公司的Meryem Arik指出多数公司在推理上超支2到5倍，甚至一个数量级，因为未优化推理栈。她介绍了如何从零设计推理系统以最低成本生成token，强调非实时、高token量用例（如离线代理、数据生成）的增长，并对比了Cerebras等低延迟但高成本方案与低成本高延迟方案的权衡。
正文结构化主题已通过公开置信门槛
llama.cpp b10358 发布：修复评审意见并更新多平台构建
llama.cpp 发布 b10358 版本，主要修复了 PR 25532 的评审意见。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
Langfuse v4.7.0 发布：新增代理工具审批跟踪与多项修复
Langfuse 发布 v4.7.0 版本，包含多项新功能与修复。新功能包括新的会话头部、自动化 webhook 操作改进、应用内代理工具审批跟踪、OTel 流量自动直写、PostHog 和 Mixpanel 集成等。修复涉及代理会话取消、仪表板成本显示、MCP 工具模式验证、正则回溯 DoS 防护、Datadog 追踪中移除用户邮箱等。此外，还进行了多项性
正文结构化主题已通过公开置信门槛
OasisKV：利用前瞻稀疏预取将解码 KV 缓存扩展至 HBM 之外
OasisKV 是一个面向大语言模型推理的内存中心系统设计，通过将 KV 缓存与 HBM 解耦来缓解 HBM 容量压力。它利用推测解码生成的 lookahead tokens 预测未来重要 token，并采用高效的注意力后台流水线从更高容量内存层级预取相关 KV 块。基于 vLLM 的实现显示，在 2048 token KV 预算下精度损失不超过 0.7 点
正文结构化主题已通过公开置信门槛
llama.cpp b10357 发布：OpenCL FA prefill 内核优化
llama.cpp 发布 b10357 版本，主要更新为在 OpenCL 的 FA prefill 内核中于本地内存转置 K 矩阵，以提升性能。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种后端如 CUDA、Vulkan、ROCm 等。
正文结构化主题已通过公开置信门槛
llama.cpp b10356 发布：ROCm 升级至 7.14
llama.cpp 发布 b10356 版本，主要将 ROCm 构建目标从 7.2.1 升级到 7.14，这是首个采用 TheRock 构建系统的生产版本，并调整了 Linux 和 Windows 的 ROCm 相关 CI 配置。该版本提供了多平台预编译二进制文件，包括 macOS、Linux、Windows、Android 等，支持多种后端如 CUDA、V
正文结构化主题已通过公开置信门槛
Ray 2.57.0 发布：数据、Serve 与 Core 多项增强
Ray 2.57.0 发布，主要更新包括 Ray Data 默认启用 DataSourceV2，引入基于任务的 Hash Shuffle V2 以优化内存使用，并支持 join 操作；Ray Serve 将 HAProxy 作为独立 PyPI 包分发，新增 gRPC 支持，并为 LLM 提供实验性的 KV 缓存感知路由；Ray Core 新增嵌入式 Rock
正文结构化主题已通过公开置信门槛
DeepSeek回应取外号争议，千问办公助理收费，英伟达筹5000亿美元建AI基建
本期资讯涵盖多个AI相关动态：DeepSeek回应了用户被取外号的争议，解释为临时对话标签；千问办公助理推出收费服务；DeepSeek-V4-Flash正式版周调用量全球第一；英伟达计划筹集5000亿美元用于AI基建；扎克伯格呼吁美国放宽开源AI限制。此外，还包括携程反垄断罚单、苹果测试长鑫存储芯片、宇树科技IPO等商业新闻。
正文结构化主题已通过公开置信门槛
Mistral推进AI主权：区域推理、开放模型与欧洲新基建
Mistral AI 宣布三项举措以推进AI主权：推出区域端点和优先服务层级，支持第三方开放模型（如Z.ai的GLM-5.2），并组建联盟确保欧洲长期AI算力，目标到2030年建设1GW容量。这些措施旨在让企业和国家控制模型、基础设施和算力，同时保持区域合规和可靠性。
正文结构化主题已通过公开置信门槛
llama.cpp b10355 发布：支持多输出后端采样
llama.cpp 发布 b10355 版本，主要支持多输出后端采样功能，并修复了 CPU 与 GPU 之间的采样差异及 Vulkan 测试问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
正文结构化主题已通过公开置信门槛
llama.cpp b10354 发布：修复 Android CPU 亲和性掩码问题
llama.cpp 发布 b10354 版本，主要修复了 Android 上 CPU 亲和性掩码被忽略的问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多种平台的预编译二进制文件，并支持多种后端如 Vulkan、CUDA、ROCm 等。
正文结构化主题已通过公开置信门槛
llama.cpp b10353 发布：修复 CUDA/Metal 的 ROLL 操作
llama.cpp 发布 b10353 版本，修复了 CUDA 和 Metal 后端中 ggml roll 操作对非连续输入产生错误结果的问题。该修复要求 src 张量连续，并添加了相应的测试用例。同时提供了多个平台的预编译二进制文件。
正文结构化主题已通过公开置信门槛
vLLM v0.27.0 发布：支持 Kimi K3、Qwen3.5，性能大幅提升
vLLM 发布 v0.27.0 版本，包含 561 个提交，来自 242 位贡献者。该版本新增对 Kimi K3、Qwen3.5、K-EXAONE-2.0 等模型的支持，并升级至 PyTorch 2.13.0，深化 FlashAttention 4 集成，优化 DeepSeek-V4 性能，扩展 Model Runner V2 至非生成任务，并引入容错框架和
正文结构化主题已通过公开置信门槛
MiniMax-H3 量化版发布，支持 ComfyUI 原生运行
AX1Y2JP 发布了 MiniMax-H3 的量化版本，基于 Comfy-Org/MiniMax-H3，采用 W4A8 量化，并支持 ComfyUI 原生运行。该模型在 4070Ti 上展示了示例结果，用户需使用最新版 ComfyUI 和 comfy-kitchen，并重新下载更新后的模型。
正文结构化主题已通过公开置信门槛
llama.cpp b10344 发布：新增 Nemotron MTP 支持
llama.cpp 发布 b10344 版本，主要新增了对 Nemotron 模型的多 token 预测（MTP）支持，并引入了 mtp flags 配置。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，方便用户部署。
8月10日周一 · 4 条
正文结构化主题已通过公开置信门槛
llama.cpp b10343 发布：更新 cpp-httplib 至 0.53.0
llama.cpp 发布了 b10343 版本，主要更新是将 cpp-httplib 库升级至 0.53.0。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
Nanbeige4.2-3B GGUF 量化版本发布
gkraker04 发布了 Nanbeige4.2-3B 模型的 GGUF 量化版本，该模型基于 Looped Transformer 架构，专为 buun-llama-cpp 运行时设计。量化使用重要性矩阵引导，提供从 Q8 0 到 IQ2 XS 的多种精度，并附有 MMLU-Pro 和 MuSR 基准测试结果，显示 Q4 K M 在质量与体积间达到最佳平
正文结构化主题已通过公开置信门槛
Meta 发布 Muse Glimmer 模型，NVIDIA 平台支持本地代理工作流
Meta 发布了 Muse Glimmer，一个 30B 参数的开源稠密模型，支持 120K+ 上下文窗口，专为本地 AI 代理工作流设计。该模型在 NVIDIA 的 GPU 平台上优化运行，单 GPU 可实现每秒 20K tokens 的吞吐量，支持全本地推理，无需模型分片或外部端点。NVIDIA 提供了多种部署选项，包括 GeForce RTX 5090
正文结构化主题已通过公开置信门槛
硬提示压缩中的指称悬空：范式级失败模式
该研究识别了硬提示压缩中的一种结构性失败模式——指称悬空，即独立选择可能拆分依赖证据对，保留答案但删除解释所需的实体。在0.30压缩比下，Beaver在三个多跳问答数据集上的悬空率为34-54%，所有六种测试压缩器在HotpotQA上均表现出高达60%的悬空率。重新插入缺失的支持段落可将准确率提高29-34个百分点，而自动恢复探针在压缩比仅增加0.01的情况