llama.cpp b11936：k-pool 稀疏选择与 kq mask 形状解耦
llama.cpp 发布 b11936 版本，核心改动是将 k-pool 稀疏选择（sparse selection）的构建与 kq mask 的形状解耦：qwen4exp（QSA）和 glm5-next 按索引选取缓存单元，不再读取 kq mask 值，选择张量改为基于缓存单元的 [n kv, n tokens] 布局，并在注意力计算前拆分为 K 视图的流
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3299 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月28日周三 · 5 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
LiteLLM 发布 v1.106.5：调整失败日志与 GCS logger 配置
LiteLLM 发布 v1.106.5 版本，本次仅包含 1 个 PR 的变更，无需额外操作即可升级。主要改动集中在日志与可观测性：被拒绝请求的失败日志现在只保留核心请求字段、tags 和 guardrail 详情；GCS logger 改为使用代理上配置的 bucket 和凭证。该变更同时回移至 1.103.10、1.104.8、1.105.6 等版本。
正文结构化主题已通过公开置信门槛
Anthropic 如何安全交付全球第一 LLM：大脑与手分离
Anthropic 的 Katelyn Lesse 与 Angela Jiang 在 Latent Space 播客中介绍了 Claude 平台背后的工程实践，包括发布 Opus 5.5、将模型的“大脑”与智能体的“手”解耦、扩展 API 以及构建可靠的托管智能体。节目还讨论了 Anthropic 的 S-1、改进与投资循环、模型访问与安全决策、用 Rust
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11935：RPC 捕获 length error
llama.cpp 发布构建版本 b11935，主要变更是 RPC 模块在 recv msg 中捕获 std::length error 异常（PR #31204）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于小型
正文结构化主题已通过公开置信门槛
JiRack Ultra 1B：面向 CPU 的三值量化小模型
CMSManhattan 在 Hugging Face 发布 JiRack Ultra 1B 模型，约 1.5B 参数，基于重新设计的 DeepSeek R1 架构并原生支持 BitNet 风格三值（1.58bit）量化，面向 CPU 推理优化，提供 GGUF 量化版本与 Docker 部署方式。模型更新了 tokenizer，新增 Routing、Tool
10月27日周二 · 15 条
正文结构化主题已通过公开置信门槛
Qwen3.8-27B GGUF 量化版：实测 agent 工具调用能力临界点
Hugging Face 用户 KikoCis 发布了 Qwen3.8-27B 的 GGUF 量化版本，并首次系统测量了量化精度对 agent 工具调用能力的影响。结果显示，2.93 bits/weight 的 IQ2 M 在 80 项工具调用任务中通过 79 项，是性价比最高的选择；而低于 2.23 bits/weight 的 1-bit 量化版本会严重失
正文结构化主题已通过公开置信门槛
Step-5-Preview 的 ik llama.cpp GGUF 量化发布
Hugging Face 用户 L-Alchemyst 发布了 Step-5-Preview 模型的 GGUF 量化版本，面向 ik llama.cpp 推理框架，提供 IQ4 KS-mix-B、IQ3 KS-mix-B 和 smol-IQ3 KS-mix-B 三套量化文件及配套 imatrix。作者指出旧版 A imatrix 因源模型索引器归一化约定有误
正文结构化主题已通过公开置信门槛
llama.cpp b11933：Vulkan 修复 MUL MAT dim 3 广播
llama.cpp 发布 b11933 版本，主要修复 Vulkan 后端在 MUL MAT 算子中对 dim 3 广播的支持：此前 supports op 会拒绝 src0 与 src1 在 ne3 维度不一致的 MUL MAT，导致这类矩阵乘回退到 CPU 并复制权重，且切分布局随 ubatch 流数变化。该改动仅对 MUL MAT ID 保留严格检查，
正文结构化主题已通过公开置信门槛
Langfuse 发布 v4.71.0：增强 AI Gateway 与 Topics 功能
Langfuse 发布 v4.71.0 版本，主要围绕 AI Gateway 增加生成记录中的模型、密钥归属、字节数与上游错误信息，并补充产品分析、空状态占位和团队通知人选择等能力。同时修复 Topics 列表滚动加载、treemap 展示、运行历史分组等问题，并更新 Docker 镜像中的 Node.js 安全补丁。该版本还为企业版增加自托管政府计划许可支
正文结构化主题已通过公开置信门槛
在 NVIDIA DGX Spark 上提升 MoE 推理性能的三种方法
NVIDIA 技术博客介绍在 DGX Spark 上优化 Ling-3.0-flash 混合专家模型推理的三种方法：用 Humming MXFP4 MoE 内核替换 FlashInfer 后端、对输出层 LM head 做在线 FP8 量化、以及基于 NEXTN 的多 token 预测投机解码。前两项分别带来 9.3% 和累计 21.7% 的解码吞吐提升。文
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11932：mtmd-cli 缩小 batch pointer 作用域
llama.cpp 发布 b11932 版本，主要变更是 mtmd-cli 缩小了 batch pointer 的作用域（#31155），并移除了对应的 CLI 回归测试。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp b11930：server 新增动态卸载模型的内存余量参数
llama.cpp 发布 b11930 版本，其 server 组件新增 --models-memory-max 参数，允许在模型超出内存阈值时动态卸载模型，并按设备分别应用内存余量。该改动还修复了测量子进程内存核算与排队加载在内存受限时的自旋重试问题。此次更新提升了多模型服务场景下的显存/内存管理能力。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11929：common 模块强制要求 --model 或 -hf 参数
llama.cpp 发布构建版本 b11929，主要变更是 common 模块现在要求必须提供 --model 或 -hf 参数（PR #31242），该改动由 Codex 辅助完成。发布同时提供 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台预编译包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL
正文结构化主题已通过公开置信门槛
General Compute 完成 1 亿美元 A 轮融资，押注推理芯片云
AI 云服务商 General Compute 完成 1 亿美元 A 轮融资，由 Blackbird Ventures 和 Abstract Ventures 领投，投后估值达 8 亿美元。该公司避开 GPU 红海，专注用 SambaNova、Positron、Cerebras 等厂商的推理专用芯片搭建云服务，并已签下一家年经常性收入 1 亿美元的大客户。在
正文结构化主题已通过公开置信门槛
Opera 推出 WebAI 网页标准，支持浏览器本地运行 AI 模型
Opera 推出名为 WebAI 的新网页标准，让用户可在浏览器内直接运行 AI 模型而无需依赖云端，并支持 Gemma 等多种开放权重模型及 Mac 上的 Apple 端侧基础模型。该功能已在旗舰浏览器 Opera One 中开放早期预览，后续将扩展至 Opera GX 和 Opera Neon，用户需主动选择启用。Opera 强调本地运行可免订阅、保护隐
正文结构化主题已通过公开置信门槛
llama.cpp b11928 新增 MiniCPM-OCR-Jev 支持
llama.cpp 发布 b11928 版本，新增对 MiniCPM-OCR-Jev 模型的支持。该模型以 Qwen3.5-VL 为骨干，通过末位 token 的 value head 对 OCR 文本与渲染图像进行打分，而非生成文本，新增 openbmb-minicpm-ocr-jev 决策类型并由 POST /v1/systemone 提供服务。由于 c
正文结构化主题已通过公开置信门槛
Nanbeige4.3-33B 发布 GSQ-RCO GGUF 量化版
开发者 abenzerps 在 Hugging Face 发布了 Nanbeige4.3-33B 的 GSQ-RCO 混合精度 GGUF 量化版本，提供从 IQ2 XXS（2.40 bpw，9.9GB）到 Q5 K M（5.75 bpw，23.8GB）共 7 个文件，推荐 IQ2 M。该版本面向 llama.cpp 本地推理优化，支持 OpenAI 兼容本地
正文结构化主题已通过公开置信门槛
llama.cpp b11927：Metal 后端新增融合 top-k mask 算子
llama.cpp 发布 b11927 版本，为 Metal 后端新增 GGML OP TOP K MASK 算子，将 CUDA 后端已有的融合 top-k mask 实现移植到 Apple Metal。该实现先用 grid-stride 内核将输出填充为 -inf，再由每行一个 threadgroup 覆盖保留单元的 mask 值，并通过函数常量裁剪图中未
正文结构化主题已通过公开置信门槛
英伟达投资印度初创Simplismart，助企业少用GPU跑AI模型
英伟达参与印度初创公司Simplismart的1400万美元B轮融资，后者提供软件帮助企业在现有GPU基础设施上更高效地运行AI模型，部分场景可减少GPU用量。Simplismart称其软件帮助InVideo将GPU服务成本降低56%，年化收入过去六个月增长14倍。该投资看似与英伟达卖芯片的利益矛盾，但公司认为提升推理效率能增强其硬件吸引力。
正文结构化主题已通过公开置信门槛
大规模 LLM 推理服务：KV Cache 的隐藏优势
Momento 联合创始人 Khawaja Shams 在 InfoQ 演讲中介绍大规模 LLM 推理服务，重点讲解 KV Cache 的作用。他将推理拆分为计算密集的 prefill 阶段和内存密集的 decode 阶段，并指出首 token 延迟取决于 prefill 完成。他强调在 GPU 稀缺背景下，分布式系统工程师可通过提升缓存与利用率来改善推理性