ggml-org 发布 Qwen3.6-35B-A3B GGUF 量化版
ggml-org 在 Hugging Face 发布了 Qwen3.6-35B-A3B 的 GGUF 量化版本，基于 Qwen/Qwen3.6-35B-A3B 及 z-lab 的 DFlash 版本自动转换而来，采用 Apache-2.0 许可，支持 image-text-to-text 任务。用户可通过 Llama 应用或命令行 llama serve 直
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3293 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
11月8日周日 · 16 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Suri-Qwen-3.8-27B 无审查 GGUF 模型发布
开发者 Space Time 在 Hugging Face 发布了 Suri-Qwen-3.8-27B-Uncensored-GGUF，这是一个基于 Qwen3.8 27B 的去对齐（无审查）GGUF 量化模型，支持中英文与图文输入。模型卡给出了推荐的采样参数（Temperature 0.7 1.0、Top P 0.8 0.95、Repetition Pen
正文结构化主题已通过公开置信门槛
ggml-org 发布 LFM3-Omni-2B GGUF 量化版
ggml-org 在 Hugging Face 发布了 LiquidAI/LFM3-Omni-2B 的 GGUF 量化版本，支持文本、图像、音频和视频输入，语音输出通过服务器的 /tts 端点实现。该版本提供 Q8 0 与 Q4 K M 两种量化，与 LiquidAI 官方 GGUF 一致，需使用支持 LFM3-Omni 的 llama.cpp 构建运行。
正文结构化主题已通过公开置信门槛
ggml-org 发布 LFM2.5-24B-A2B GGUF 量化版
ggml-org 在 Hugging Face 发布了 LiquidAI LFM2.5-24B-A2B 的 GGUF 量化版本，可通过 llama.app 的 llama serve 命令直接运行。该版本提供 Q8 0 与 Q4 K M 量化，与 LiquidAI 官方 GGUF 量化方式一致，并提及 LiquidAI 另有量化感知蒸馏（QAD）的 Q4 0
正文结构化主题已通过公开置信门槛
ggml-org 发布 gemma-4-E2B-it GGUF 量化模型
ggml-org 在 Hugging Face 发布了 google/gemma-4-E2B-it 的 GGUF 量化版本，采用 Apache-2.0 许可，pipeline 标签为 any-to-any。该模型可通过 Llama 应用或终端命令 llama serve 直接运行，并基于 Google 的原始模型及 QAT 量化版本自动转换生成。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12198：代理日志降级为 trace
llama.cpp 发布 b12198 版本，主要变更是将服务端按请求的代理日志级别降为 trace，以减少日志噪音。该版本同时提供 macOS/iOS、Linux（含 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等后端）、Android、Windows 及 UI 的多平台预编译包。此次更新属于常规构建发布，对终端用户影响有限，主要惠及使用
正文结构化主题已通过公开置信门槛
llama.cpp b12196：SYCL 后端 CPY 对 Q4 1/Q5 1/Q8 0 精确舍入
llama.cpp 发布构建版本 b12196，主要变更是 SYCL 后端在 CPY 操作中对 Q4 1、Q5 1 和 Q8 0 量化格式实现精确舍入（PR #31465）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于
正文结构化主题已通过公开置信门槛
llama.cpp b12195：SYCL 拒绝超显存缓冲区分配
llama.cpp 发布 b12195 版本，主要变更是 SYCL 后端拒绝会超出显存的设备缓冲区分配（#31285）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、OpenVINO、SYCL 及骁龙 NPU 等后端。此次更新属于常规构建发布，提升了 SYCL 场景下
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12194：Hexagon 后端清理与多平台构建
llama.cpp 发布构建版本 b12194，主要包含针对 Hexagon NPU 后端的清理与优化：根据架构设置 N HVX 和 N THREADS 以避免过度分配，将追踪状态与辅助函数迁移到新的 htp-trace.h 头文件，清理 dcache 宏定义，并支持通过 build.py 启用 HTP DEBUG。同时修复了 CI 中的 Python 类型
正文结构化主题已通过公开置信门槛
ReadyArt 发布 gemma-4-31B-it-scotoma-2 的 GGUF 量化版
Hugging Face 上出现 ReadyArt/gemma-4-31B-it-scotoma-2-GGUF 模型仓库，它是 ReadyArt/gemma-4-31B-it-scotoma-2 的 GGUF 量化版本，采用 Apache-2.0 许可，基于 Google Gemma 4 许可条款，使用 transformers 库，任务类型为文本生成。该仓
正文结构化主题已通过公开置信门槛
llama.cpp b12193：mtmd 将 log-mel 计算移入计算图
llama.cpp 发布 b12193 版本，主要变更在 mtmd（多模态）模块：将 log-mel 特征计算移入 cgraph（计算图），并清理了 mtmd audio stft op 等冗余代码、补充了测试。同时该版本照例提供覆盖 macOS/iOS、Linux、Android、Windows 及多种后端（CUDA、Vulkan、ROCm、SYCL、Op
正文结构化主题已通过公开置信门槛
llama.cpp b12192：mtmd 支持 MageVL-Cowork 模型
llama.cpp 发布 b12192 版本，其多模态模块 mtmd 新增对 MageVL-Cowork 模型的支持。改动将 magevl 的 rope freqs 保留在模型层级由各层共享，并在加载时校验其为 F32、元素数为 d head 且可拆分为图所需的 4:6:6 比例。该版本同时提供 macOS、Linux、Windows、Android 等多平
正文结构化主题已通过公开置信门槛
llama.cpp b12191：MoE 缓存支持 CPU 分担未命中专家
llama.cpp 发布 b12191 版本，为 MoE 缓存引入 CPU 分担机制：通过 --moe-cache-cpu-share 参数，将部分未命中专家在 CPU 上计算而非上传至设备，并新增 moe-cache-tune.py 调优脚本自动推荐缓存大小与 CPU 分担比例。该改动还调整了调度器与图构建逻辑，使 CPU 部分可异步执行、不阻塞设备计算，
正文结构化主题已通过公开置信门槛
Suri-Qwen-3.8-27B 陪伴型 GGUF 模型发布
开发者 Space Time 在 Hugging Face 发布了 Suri-Qwen-3.8-27B-Companion-GGUF，这是一个基于 Qwen3.8 27B 的陪伴型聊天模型，并提供 GGUF 量化版本。模型卡给出了推荐的 Temperature、Top P 与 Repetition Penalty 参数，并附有 QQ 群和邮箱联系方式。该发布
正文结构化主题已通过公开置信门槛
Vercel AI SDK 7.0.165 修复遥测凭证泄露
Vercel AI SDK 发布 ai@7.0.165 补丁版本，主要修复遥测与追踪中的隐私问题：当 recordOutputs 为 false 时，从遥测数据中移除转录词级时间戳；同时在上报文本生成结果前对 provider 请求 URL 做脱敏处理，避免端点凭证泄露给遥测集成和追踪订阅方。此外同步更新了 @ai-sdk/provider-utils、@a
正文结构化主题已通过公开置信门槛
Qwen3.8-27B 的 W4A16 AutoRound 量化版本发布
用户 Vishva007 在 Hugging Face 发布了 Qwen3.8-27B 的 W4A16 量化版本，使用 Intel AutoRound 算法生成，组大小为 64，视觉塔与 MTP 层保留 BF16 精度。量化后显存需求从约 54GB 降至 16–18GB，可在单张 24GB 消费级显卡上运行，并支持通过 vLLM 部署。
11月7日周六 · 4 条
正文结构化主题已通过公开置信门槛
Qwen3.8-27B-MTP-GGUF 发布：内置投机解码提速约2倍
Hugging Face 上发布了 Jackrong/Qwen3.8-27B-MTP-GGUF 模型仓库，将 MTP（多 token 预测）头直接打包进 Qwen3.8-27B 的 GGUF 量化版本，从而无需额外草稿模型即可实现投机解码。据其内部测试，生成吞吐约提升 2 倍（24.05 vs 12.09 tok/s），平均端到端延迟降低约 1.88 倍，草
正文结构化主题已通过公开置信门槛
KindlingAI 发布 GLM-5.3-Flash 的 exlr8 量化版，面向 GB10
KindlingAI 在 Hugging Face 发布 GLM-5.3-Flash 的 exlr8 v2 量化版本，面向 NVIDIA GB10 统一内存设备（DGX Spark、ASUS GX10），提供 K2/K3/K4 三档 trellis 宽度，可在 1 至 4 台机器上按 TP 并行服务。该量化要求加载器将码本输出舍入到 FP8 E4M3，否则权
正文结构化主题已通过公开置信门槛
llama.cpp b12189 修复 Metal GROUP NORM 批次与非连续输入问题
llama.cpp 发布 b12189 版本，修复 Metal 后端 GROUP NORM 算子在 ne03 1 及非连续输入下的错误：原内核忽略批次维度，导致除首批外数据未被写入。修复后按 (group, i03) 分派线程组、按批次计算统计量，并支持跨步访问与 F32 类型门控。该更新提升 Apple Silicon 上相关算子的正确性，同时提供各平台预
正文结构化主题已通过公开置信门槛
llama.cpp b12188：修复 server 父子 slot 调度顺序
llama.cpp 发布 b12188 版本，主要修复 server 端多 slot 调度问题：当子任务落在比父 slot 更低的 id 上时，子 slot 会先于父 slot 被访问，导致多等一个 batch 才处理后缀；现在改为先访问非子 slot 再访问活跃子 slot，使被父 slot 唤醒的子 slot 能在同一 batch 加入。同时将 syst