llama.cpp 发布 b11867：重构 server 入口点
llama.cpp 发布 b11867 版本，主要变更是重构 server 入口点（#31113），引入 server role 相关改动。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制，包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3303 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月25日周日 · 8 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11865：RPC rdma recv 增加边界检查
llama.cpp 发布构建版本 b11865，主要变更是为 RPC 后端的 rdma recv 函数增加边界检查（PR #30399），以提升 RDMA 接收路径的安全性。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp b11861 修复 minimax-m3 量化 scale 未转发问题
llama.cpp 发布 b11861 版本，修复 minimax-m3 模型在 MoE FFN 构建中未将 NVFP4 的 per-expert scale2 张量及 MXFP8 的 per-tensor scale 转发到计算图的问题。此前 build moe ffn() 默认这些 scale 为 nullptr，导致路由专家权重被放大 global s
正文结构化主题已通过公开置信门槛
Hugging Face 出现疑似 Anthropic 14T 参数 numbat 预训练检查点
Hugging Face 上出现一个名为 numbat 的模型仓库，声称是 Anthropic 下一代 Mythos 级训练运行的中途预训练检查点，约 14T 参数、114 层，采用混合 GDN/MLA 架构、MoE（1,224 专家，top-48 + 1 共享）和 NVFP4 量化，共 772 个分片约 7.72TB。仓库包含配置、参考实现、分词器和张量索
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11860：修复大 n batch 下的上下文测试
llama.cpp 发布构建版本 b11860，主要变更是修复 test-llama-context 在大 n batch 场景下的测试问题（#31083）。该版本同时提供 macOS/iOS、Linux（含 CUDA 12/13、ROCm、Vulkan、SYCL、OpenVINO 等后端）、Android、Windows 及 UI 的多平台预编译包。这是面
正文结构化主题已通过公开置信门槛
NVIDIA Qwen3.8-Flash-Next NVFP4 权重转换为 Strata 格式
Hugging Face 用户 Maximilian228 将 NVIDIA 的 Qwen3.8-Flash-Next-NVFP4 检查点（由 NVIDIA Model Optimizer 量化）转换为 Strata NVFP4 引擎可读的文件格式，权重本身未改动。该 125B 混合 MoE 模型因此可在单张 RTX 20-50 显卡（12GB 以上显存）加
正文结构化主题已通过公开置信门槛
Qwen3.8-Flash-Next 的 NVFP4 GPTQ 量化版发布
开发者 Maximilian228 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 NVFP4 GPTQ 量化版本，将全部路由专家量化为 NVFP4 并打包为 Strata NVFP4 格式。该 125B 混合专家模型可在单张 12GB 显存显卡加 64GB 内存的 PC 上运行，与 Q8 0 参考模型的下一个 token 一
正文结构化主题已通过公开置信门槛
llama.cpp b11857：ggml 支持 MUL MAT ID -1 索引跳过计算
llama.cpp 发布 b11857 版本，核心变更是 ggml 允许 MUL MAT ID 使用 -1 索引来跳过计算，并同步更新了 Vulkan、WebGPU、CUDA、OpenVINO 等后端实现（本 PR 暂排除 CUDA）。该版本同时提供 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
10月24日周六 · 12 条
正文结构化主题已通过公开置信门槛
JackOD-9B-Coder 发布 MTP GGUF 量化版
ManniX-ITA 在 Hugging Face 发布了 JackOD-9B-Coder 的 GGUF 量化版本（MTP 版），该模型基于 Qwen3.5-9B，由 DeltaCoder-9B、Qwopus3.5-9B-Coder-Flash 和 Ornith-1.5-9B 按 0.55/0.30/0.15 权重合并而成，面向多轮智能体编程。v2 版本用
正文结构化主题已通过公开置信门槛
llama.cpp b11856：新增投机解码拒绝采样测试
llama.cpp 发布 b11856 版本，主要变更是新增投机解码拒绝采样（speculative rejection sampling）的测试（#30213），用于验证草稿模型产生的 token 与目标模型分布一致，确保拒绝采样后仍保持与直接采样目标模型相同的概率分布。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译
正文结构化主题已通过公开置信门槛
SoAI 发布 Qwen3.5-9B GGUF 量化版
SoAI 在 Hugging Face 上发布了 Qwen3.5-9B 的 GGUF 量化版本，面向 llama.cpp 与 SoAI 使用。该模型为 9B 稠密架构，支持图像输入、思考模式与工具调用，上下文达 256K，提供 Q4 K M 与 Q8 0 两种量化文件及图像投影附加文件。Q4 K M 使用基于真实聊天、代码与工具调用语料校准的 imatrix
正文结构化主题已通过公开置信门槛
SoAI 发布 Qwen3.5-4B GGUF 量化版
SoAI 在 Hugging Face 发布了 Qwen3.5-4B 的 GGUF 量化版本，提供 Q4 K M 与 Q8 0 两种量化文件，并附带用于图像输入的 mmproj 组件。该版本基于 Qwen 原模型量化，支持思考、图像输入与工具调用，上下文窗口达 256K，可通过 llama.cpp 在本地运行并提供 OpenAI 兼容 API。其 Q4 K
正文结构化主题已通过公开置信门槛
nerkyor 发布 Qwen3.8-27B 多轮后训练 GGUF 量化模型
Hugging Face 用户 nerkyor 发布了 Qwen3.8-27B 的 GGUF 量化仓库，该模型在官方 Qwen3.8-27B 基础上经过多轮 SFT 与 RLOO 后训练，旨在修复原模型反复推导、无法停止并触及 94K 上限的问题。仓库提供 Q2、Q3、Q4 LynnStyle、Q6 K、Q8 0 等八种 GGUF 包及配套 NInfer 包
正文结构化主题已通过公开置信门槛
nerkyor 发布 Qwen3.8-27B Coder390 多量化版本
Hugging Face 用户 nerkyor 发布了基于 Qwen3.8-27B 的后训练模型 Coder390，通过多轮 SFT 与 RLOO 训练修复原模型在已有答案后仍反复推导、直至 94K 上下文上限却无最终答案的问题。该仓库提供 BF16、静态 FP8、NVFP4、INT4/INT8 及 GGUF 等多种量化版本，均支持多模态与 MTP，并可在
正文结构化主题已通过公开置信门槛
Langfuse v4.70.0：新增 Topics API 与批量评估 MCP 工具
Langfuse 发布 v4.70.0，新增只读 Topics 公共 API 端点、runBatchEvaluation MCP 工具，并改进 AI Gateway 的 Claude Desktop 配置流程与密钥页内联说明。修复方面加强了 webhook 与 PostHog 目标变更时的密钥校验，并升级 dompurify、nodemailer 依赖。整体
正文结构化主题已通过公开置信门槛
从零构建推理模型：11小时视频课程发布
Ahead of AI 作者发布了一套「从零构建推理模型」视频课程，共 8 个视频、约 11 小时，配套其 Manning 出版的同名书籍。课程基于小型预训练 Qwen3 模型，用 Python 和 PyTorch 从零实现推理模型的评估、推理时扩展、强化学习与蒸馏。作者还解释了推理模型与智能体框架的关系：推理模型是引擎，智能体框架负责上下文管理和工具调用。
正文结构化主题已通过公开置信门槛
llama.cpp b11853：HIP 字节置换回退修复
llama.cpp 发布 b11853 版本，主要修复 HIP 后端在缺少 builtin amdgcn perm 内建函数时的字节置换回退问题。由于 amdgcnspirv 会拒绝未用 builtin amdgcn is invocable 保护的目标特定内建函数，此前 145 个 HIP 文件中有 66 个构建失败。该改动将 perm 调用封装为辅助函数
正文结构化主题已通过公开置信门槛
Swift-1.5-Qwen3.8-Flash-Next 无审查 GGUF 量化版发布
Hugging Face 用户 SC117 发布了 Swift-1.5-Qwen3.8-Flash-Next 的 GSQ-RCO-abliterated GGUF 量化版本，该模型基于 ukisai 的 Swift 1.5（Qwen3.8-Flash-Next 的高效推理衍生版）。作者通过字节级张量移植，在全部 48 层中替换了 144 个写入残差流的张量，
正文结构化主题已通过公开置信门槛
Qwen3.8-Flash-Next GSQ-RCO 去审查量化版发布
Hugging Face 用户 SC117 发布了 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF，这是对 ISTA-DASLab 官方 GSQ-RCO 量化模型的“去审查”（abliterated）版本。作者未重新计算任何 GSQ 学习到的量化张量，而是将全部 48 层中 144 个写入残差流的投影张量替换为现成 a
正文结构化主题已通过公开置信门槛
研究：花哨的harness让编码智能体更贵而非更好
山东大学两位研究者刘和韩在固定模型的前提下，用Claude Code、OpenCode和mini-SWE-agent三种harness测试了五个模型，发现更换harness带来的成绩差异与同一配置重跑两次的波动相当，但成本最高可增至三倍。论文题为《What does a harness buy? Mostly tokens.》，指出此前宣称的20分以上har