llama.cpp b11874：OpenCL 新增 topk 与 lightning indexer
llama.cpp 发布 b11874 版本，主要变更为 OpenCL 后端新增 topk 算子与 fp lightning indexer，并对 topk 和 lightning indexer 做了优化与重构，包括重写 tiled topk kernel 及格式调整。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3303 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月25日周日 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
JiRack DeltaNet 27B：三值架构 CPU 推理模型发布
Hugging Face 用户 CMSManhattan 发布了 JiRack DeltaNet 27B 模型，将 Qwen3.8 风格的 DeltaNet 架构（混合注意力+SSM）迁移到三值权重架构，主打 CPU 高效推理，提供 GGUF 量化版本并原生支持 Ollama 与 Docker 部署。模型配套 JiRack 分词器，声称支持路由、视觉、音视频
正文结构化主题已通过公开置信门槛
JiRack Ultra 32B：面向 CPU 的三值量化模型发布
CMSManhattan 在 Hugging Face 发布 JiRack Ultra 32B，一个基于 DeepSeek R1-32B 架构、面向 CPU 推理优化的 32B 模型，采用 BitNet 风格三值（1.58bit）量化并附带 GGUF 量化版本。模型更新了分词器，新增 Routing、Media、Vision、Sound、Tool call、
正文结构化主题已通过公开置信门槛
JiRack Ultra 14B：面向 CPU 的三值量化模型发布
CMSManhattan 在 Hugging Face 发布 JiRack Ultra 14B，一款基于 DeepSeek R1-14B 架构、支持原生三值（BitNet 风格）的 CPU 推理优化模型，并提供 GGUF 量化版本。该模型配备含 Routing、Media、Vision、Sound、Tool call、Robotics 标签的新分词器，可通过
正文结构化主题已通过公开置信门槛
llama.cpp b11873：OpenCL 后端新增 q2 k 支持
llama.cpp 发布 b11873 版本，为 OpenCL 后端新增 q2 k 量化格式的初步支持，包括 mul mv q2 k f32、SOA mv 与 tiled mm、面向 Adreno 的 noshuffle gemm/gemv 和 dp4a gemm 内核，并针对 Adreno 调优。该改动由高通工程师 Hongqiang Wang 参与贡献，
正文结构化主题已通过公开置信门槛
东方槊发布Qwen3.8-27B-NSFW-v2 GGUF量化版
东方槊（Dongfangshuo）在 Hugging Face 发布 Dongfangshuo-Qwen3.8-27B-NSFW-v2-GGUF，这是其 NSFW 中文长篇小说创作模型的官方 GGUF 量化版本。该模型基于 huihui-ai/Huihui-Qwen3.8-27B-abliterated 深度重训，v2 版本声称根治了长文注意力崩溃与无限复读
正文结构化主题已通过公开置信门槛
ggml-org 发布 Nemotron-3.5-Super-VL-120B GGUF 量化版
ggml-org 在 Hugging Face 发布了 NVIDIA Nemotron-3.5-Super-VL-120B-A12B 的 GGUF 量化版本，该模型基于 NVIDIA 的 BF16 原版转换而来，属于图文到文本（image-text-to-text）多模态模型。用户可通过 Llama 应用或终端命令 llama serve 直接运行。该仓库由
正文结构化主题已通过公开置信门槛
DGPL 发布实验性稀疏 MoE 模型：1M 上下文与边缘 GGUF 量化
DGPL 在 Hugging Face 发布实验性原型模型 dgpl-experimental-1，采用稀疏 MoE 架构，总容量 1.12B 参数、每 token 激活约 144.71M 参数，支持原生 100 万 token 上下文，并提供 5 档 GGUF 量化文件。模型基于 qwen2moe 架构，附带单线程 CPU 基准数据（Q4 K M 生成约
正文结构化主题已通过公开置信门槛
LiteLLM 发布 v1.106.4：修复启动 ImportError 与镜像扫描告警
LiteLLM 发布 v1.106.4 版本，共包含 3 个 PR，其中 2 项为修复。主要修复了代理在无法访问远程模型成本映射时启动可能因 ImportError 退出的问题（该问题自 v1.104.0 引入），并修复了镜像扫描对 brotli 1.2.0、emSign ECC Root CA - G3 及未使用锁文件包的告警。官方表示升级无需额外操作。
正文结构化主题已通过公开置信门槛
LiteLLM 发布 v1.105.5：修复启动 ImportError 与镜像扫描误报
LiteLLM 发布 v1.105.5 版本，包含 2 个 PR、修复 2 个问题，用户无需额外操作即可升级。主要修复了代理在无法访问远程模型成本映射时启动报 ImportError 退出的问题（自 v1.104.0 起存在），以及镜像扫描误报 brotli 1.2.0、emSign ECC Root CA - G3 和未使用锁文件包的问题。该版本为回迁补丁
正文结构化主题已通过公开置信门槛
LiteLLM 发布 v1.104.7 修复启动崩溃与镜像扫描告警
LiteLLM 发布 v1.104.7 补丁版本，包含 2 个 PR、修复 2 个问题，用户无需额外操作即可升级。主要修复了自 v1.104.0 起代理在无法访问远程模型成本映射时可能因 ImportError 启动退出的问题，并修复了镜像扫描对 brotli 1.2.0、emSign ECC Root CA - G3 及未使用锁文件包的告警。该版本同时回移
正文结构化主题已通过公开置信门槛
Anthropic：模型能力增强后，单代理架构常优于多子代理
Anthropic 基于多个企业部署经验建议企业评估将多个专用子代理整合为单一主代理，由后者按需加载上下文。其 Applied AI 团队发现，从 Opus 4.5 起的新模型（含 Opus 5.5、Fable 5.1）能在单循环内管理复杂计划，单代理架构在质量、成本和延迟上常优于多代理，某对比中速度约快一倍。Anthropic 在 GitHub 发布迁移工
正文结构化主题已通过公开置信门槛
LiteLLM 发布 v1.103.9：修复镜像扫描误报
LiteLLM 发布 v1.103.9 版本，仅包含 1 个 PR 和 1 项修复，用户无需采取额外操作即可升级。该修复解决了镜像扫描将 brotli 1.2.0、emSign ECC Root CA - G3 以及未使用的 lockfile 包标记为问题的情况。此次更新属于部署层面的安全与合规清理，不涉及功能变更。
正文结构化主题已通过公开置信门槛
DeepSeek-V4.1-Flash 混合精度量化版发布：552B MoE 可跑在单张 4090 上
Hugging Face 用户 IndrasMirror 发布了 DeepSeek-V4.1-Flash-1017 的量化版本 XQ-Uncensored，通过混合精度量化（三值、2-bit、3-bit 及原生 FP4）将 552B 参数的 MoE 模型压缩至约 163 GB，使其能在单张 RTX 4090（24 GB 显存）加 90 GB 内存的消费级 P
正文结构化主题已通过公开置信门槛
Xinference 发布 v4.1.0：新增多模型支持与 TRT-LLM 后端
Xinference 发布 v4.1.0，新增对 DeepSeek-V4.1-Flash、GLM-5.3、Qwen3.8-Flash-Next、MiniCPM-V-4.7 等模型的支持，并加入 TRT-LLM 后端与 Xavier KV 缓存共享、Anthropic 上下文管理、fastapi-guard 安全中间件等能力。该版本还优化了工具调用流式解析性能
正文结构化主题已通过公开置信门槛
llama.cpp b11871：限制 JSON 嵌套深度防崩溃
llama.cpp 发布 b11871 版本，修复了 chat 接口的 JSON 嵌套深度安全问题：schema 构建器、jinja 引擎和决策代码会递归遍历请求 JSON，嵌套过深会导致 HTTP 线程栈溢出，使 llama-server 崩溃（macOS 上 SIGBUS、Linux 上 SIGSEGV）。现在在遍历前先检查深度，超过 128 层直接返回
正文结构化主题已通过公开置信门槛
ggml-org 发布 Clef-GGUF 量化决策模型
ggml-org 在 Hugging Face 发布了 Clef-GGUF，这是对 Cloudflare/clef 模型的 GGUF 量化转换版本，采用 Apache-2.0 许可，pipeline 标签为 image-text-to-text。该模型被描述为决策模型，需通过 /v1/systemone API 调用，并依赖 llama.cpp 的 PR #
正文结构化主题已通过公开置信门槛
Qwen3.6-35B-A3B 的 MLX 混合精度量化版发布
开发者 Jundot 在 Hugging Face 发布了 Qwen3.6-35B-A3B 的 MLX 混合精度量化版本 Qwen3.6-35B-A3B-oQ4e-mtp，使用 oMLX v0.7.3.dev1 的 oQ 方法按层敏感度分配 4/5/6/8 位与 BF16 精度，完整检查点平均约 4.8 bits/weight，总存储约 20.09 GiB。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11869：修复 Jinja select 参数处理
llama.cpp 发布 b11869 版本，主要修复了 Jinja 模板中 select 与 selectattr 的参数处理问题，并补充了测试用例。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于开源推理框架的常规缺陷修复
正文结构化主题已通过公开置信门槛
llama.cpp b11868：Hexagon HMX flash attention 多核 KV-head 切分
llama.cpp 发布 b11868 版本，主要变更是为 Hexagon NPU 上的 HMX flash attention 增加 KV-head 团队切分（team split）支持，用于多核场景。该改动将 FA HEAD SPLIT 与 FA SPLIT 合并为单一 GGML HEXAGON FA SPLIT 开关：0 表示仅 token 切分，1