Qwen3.5-4B 的 LiteRT-LM 端侧量化版本发布
Hugging Face 社区用户 litert-community 将阿里 Qwen3.5-4B 转换为 Google LiteRT-LM 端侧推理格式，提供 int8 与混合 INT4 两个版本，分别约 4.42GB 和 2.75GB，需 litert-lm ≥0.15。该模型采用 GatedDeltaNet 线性注意力与全注意力混合架构，线性层保持常量
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3291 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
11月9日周一 · 11 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Qwen3.5-0.8B 发布 LiteRT-LM 端侧量化版本
Hugging Face 上发布了 litert-community/Qwen3.5-0.8B，这是将阿里 Qwen3.5-0.8B 混合架构模型转换为 Google LiteRT-LM 格式的端侧推理包，提供 int8 量化及文本、视觉多个版本。该包据称是首个 LiteRT 形式的 Qwen3.5，也是首个由已发布 LiteRT-LM 运行时支持的 gat
正文结构化主题已通过公开置信门槛
Kandinsky 6.0 Pro 5s 发布 GGUF 与 W4A8 低显存量化版
开发者 realrebelai 在 Hugging Face 发布了 Kandinsky 6.0 Pro 5s 及蒸馏版 5s 的低显存量化版本，提供 W4A8（4bit 权重/8bit 计算）和 GGUF（Q3 K S、Q4 K S）两种格式，面向 ComfyUI 使用。GGUF 路径需要安装两个 RebelAI 兼容性分支节点（Kandinsky6 GG
正文结构化主题已通过公开置信门槛
ggml-org 发布 vllm-d3-nano 的 GGUF 量化决策模型
ggml-org 在 Hugging Face 发布了 vllm-d3-nano-GGUF，这是将 vllm-sr/d3-nano 基础模型自动转换得到的 GGUF 量化版本，采用 Apache-2.0 许可，pipeline 标签为 image-text-to-text。该模型被定位为决策模型，需通过 llama.cpp 的 /v1/systemone A
正文结构化主题已通过公开置信门槛
ggml-org 发布 vllm-d3-lite GGUF 量化决策模型
ggml-org 在 Hugging Face 发布了 vllm-d3-lite-GGUF，这是对 vllm-sr/d3-lite 的 GGUF 量化转换版本，采用 apache-2.0 许可，pipeline tag 为 image-text-to-text。该模型被定位为决策模型，需通过 llama.cpp 的 /v1/systemone API 使用，
正文结构化主题已通过公开置信门槛
ggml-org 发布 vllm-d3-flash 的 GGUF 量化决策模型
ggml-org 在 Hugging Face 发布了 vllm-d3-flash-GGUF，这是对 vllm-sr/d3-flash 的 GGUF 量化版本，采用 Apache-2.0 许可，pipeline 标签为 image-text-to-text。该模型被定位为决策模型（decision model），需通过 llama.cpp 的 /v1/sys
正文结构化主题已通过公开置信门槛
FluidInference 发布 Kokoro-82M 的 Core ML 转换与 ANE 优化版
FluidInference 在 Hugging Face 发布了 Kokoro-82M 的 Apple Core ML 转换版本，覆盖英语、日语和中文（普通话），并提供针对 Apple 神经引擎（ANE）优化的 v3 版本。配套的 FluidAudio SDK v0.17.6 支持通过 KokoroAneManager 调用这些模型，在 M5 Pro 上混
正文结构化主题已通过公开置信门槛
10Eros Max H3 激活引导学习量化版发布
开发者 LokkenJP 在 Hugging Face 发布 TenEros Max optimized learned，这是基于 TenStrip/10Eros-Max 的 MiniMax-H3 文生视频模型的量化版本。推荐版本 Beta7 fix1 HQ 为 18.73 GB，采用激活引导学习量化（W6 g16 与 INT8 ConvRot），并保留内置
正文结构化主题已通过公开置信门槛
llama.cpp b12211：mtmd 重构，移除 clip.h
llama.cpp 发布 b12211 版本，主要变更是对 mtmd（多模态）模块进行重构：移除 clip.h，并将相关代码合并进 mtmd（PR #31865）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次重构属于内部代码整
正文结构化主题已通过公开置信门槛
llama.cpp b12210：CPU 启用 SpacemiT IME2 MXFP4 稠密重打包
llama.cpp 发布 b12210 版本，主要变更为在 CPU 后端启用 SpacemiT IME2 MXFP4 稠密重打包（dense repack），该提交由 Codex 辅助完成。同时该版本照例提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包，涵盖 CUDA、Vulkan、ROCm、
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12209：llamafile 支持 bf16 与 q8 0 vxe
llama.cpp 发布 b12209 版本，主要变更为在 llamafile 中实现 bf16 与 q8 0 的 vxe 支持，由 IBM 的 Aaron Teo 提交。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 及 Snapdrago
11月8日周日 · 9 条
正文结构化主题已通过公开置信门槛
llama.cpp b12208：CUDA/Metal radix Top-K 并列选择确定化
llama.cpp 发布 b12208 版本，主要更新 ggml 的 CUDA/Metal radix Top-K 实现，使阈值处并列候选的选择结果确定化，输出在不同运行间字节一致。Metal 端用 simdgroup 扫描替代原子计数器压缩，在 M5 Ultra 上 top-k 耗时降低约 20-45%，并启用 Metal 与 ROCm 的确定性自检。
正文结构化主题已通过公开置信门槛
llama.cpp 为 SSM SCAN 内核新增 d state=64 快速路径
llama.cpp 发布 b12207 版本，在 ggml-cuda 的 SSM SCAN 内核中新增 d state=64 的快速路径，以支持 Zamba2 等使用状态大小 64 的循环扫描架构。此前这类模型的扫描步骤全部回退到 CPU，生成速度仅 6-7 tok/s；新增模板实例化后，Zamba2-7B-Instruct 实测吞吐提升约 35%（11 提
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12206：修复 MoE 缓存 CPU 等待问题
llama.cpp 发布 b12206 版本，核心变更是 moe-cache 修复：确保 CPU 部分不会等待已缓存的专家（#31888）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于推理框架的常规迭代，主要影响 Mo
正文结构化主题已通过公开置信门槛
llama.cpp b12202：按参考精度引入 BF16 累加
llama.cpp 发布 b12202 版本，核心改动是让 llama 与 mtmd 遵循 ggml prec set acc 调用的参考精度：GLM4 系列的下投影与输出投影、MiMoVL 视觉矩阵乘、Qwen3-TTS 说话人编码器 conv1d 改为 GGML PREC BF16，而 DeepSeek V4/V4.1 路由器和 MiniMax-M3 索
正文结构化主题已通过公开置信门槛
高通：终端侧AI从单点应用走向智能体体验
高通公司AI产品技术中国区负责人万卫星在2026年11月7日上海进博会上阐述终端侧AI正从单点应用（ASR、摘要、图像处理等）向系统级智能体体验演进。他指出端侧受内存与功耗限制，主流仅能运行20亿至30亿参数模型，MoE通过按需调用部分专家模块可提升端侧模型智能水平。高通与阶跃星辰、Infris AI、江波龙合作，从模型、推理预取、存储加载和芯片平台协同优化
正文结构化主题已通过公开置信门槛
Qwen3.5-2B 端侧 LiteRT-LM 量化版发布
litert-community 将阿里 Qwen3.5-2B 转换为 LiteRT-LM 格式，发布纯文本与视觉两个 int8 量化版本，用于端侧推理。在 Galaxy S26 上，GPU 解码速度达 17.5 tok/s，CPU 达 19.0 tok/s；在树莓派 5 上，CPU 解码速度为 4.2 tok/s。作者承认此前量化配方存在缺陷，导致 CPU
正文结构化主题已通过公开置信门槛
llama.cpp b12201：投机解码不再对草稿模型应用 MoE 缓存
llama.cpp 发布构建版本 b12201，主要变更是投机解码（speculative decoding）中不再将 MoE 缓存应用于草稿模型（draft model），对应 PR #31497。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包，涵盖 CUDA、Vulkan、ROCm、SYCL
正文结构化主题已通过公开置信门槛
llama.cpp b12200：优化 OpenCL q8 0 与 MoE 小 n 验证
llama.cpp 发布 b12200 版本，主要改进 OpenCL 后端：新增 q8 0 的 kernel gemv noshuffle q8 0 f32 mc 内核，为 q5 1、q4 k 等更多量化格式补充小 n 的 MoE GEMV 实现，并将 Adreno 内核的 k 下限设为 256，同时在小验证批次下禁用 bin FA。这些改动由高通（Qual
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12199：清洗工具调用参数中的非法 UTF-8
llama.cpp 发布构建版本 b12199，主要变更是 common 模块对 PEG 工具调用参数中的非法 UTF-8 进行清洗（#31861）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包，包括 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等。此次更新属于工具调用解析的