llama.cpp b12187：WebGPU 新增 group norm 算子
llama.cpp 发布 b12187 版本，主要变更为在 WebGPU 后端实现 group norm（分组归一化）算子，包括新增 WebGPU 专用 CI 工作流、参数化数据类型、二维工作组调度以及 group norm 性能测试。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 的多平台预编译包，涵盖 CUDA、Vul
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3293 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
11月7日周六 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp b12186：Vulkan decodeBuf 声明加 readonly
llama.cpp 发布 b12186 版本，主要变更是为 Vulkan 后端的 decodeBuf 声明添加 readonly 修饰符（PR #31833），作者期望在未来驱动版本中借此获得性能提升。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端（CUDA、ROCm、Vulkan、SYCL、OpenVINO
正文结构化主题已通过公开置信门槛
llama.cpp b12185：修复 CUDA lightning indexer 共享内存 bank 冲突
llama.cpp 发布 b12185 版本，主要修复了 CUDA 后端中 lightning indexer 的共享内存 bank conflicts 问题（PR #31803）。同时该版本提供了覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，涵盖 CUDA 12/13、Vulkan、R
正文结构化主题已通过公开置信门槛
Granite-4.0-1B 大端量化版发布，支持 IBM Z 大型机
开发者 taronaeo 在 Hugging Face 发布了 Granite-4.0-1B-BE-GGUF，这是 IBM Granite-4.0-1B 的量化 GGUF 版本，并做了字节序转换，以便在 IBM Z 与 LinuxONE 大型机（s390x、z15/z16/z17）上运行。该仓库提供从 Q2 K 到 F32 的多种量化文件，并给出用 llam
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12184：修复 pthread 链接
llama.cpp 发布 b12184 版本，主要修复是补上缺失的 pthread 链接，并将 Threads::Threads 改为私有链接。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于构建层面的小修复，不影响
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12183：OpenCL 后端新增 arange 算子
llama.cpp 发布构建版本 b12183，主要变更是为 OpenCL 后端新增 arange 算子支持（PR #31829），该改动由 Claude 辅助完成，高通工程师 Li He 参与共同署名。发布包覆盖 macOS/iOS、Linux（含 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等后端）、Android
正文结构化主题已通过公开置信门槛
LFM2.5-1.2B-Instruct 的 LiteRT-LM 端侧量化版发布
Hugging Face 上发布了 litert-community/LFM2.5-1.2B-Instruct，这是将 Liquid AI 的旗舰端侧模型 LFM2.5-1.2B-Instruct 转换为 Google LiteRT-LM（.litertlm）格式的量化版本，提供 int8、int4 和 int4 gpu 三个文件。该模型采用门控短卷积与分组
正文结构化主题已通过公开置信门槛
Unsloth 发布 Qwen3.8-Flash-Next GGUF 量化版
Unsloth 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 GGUF 量化版本，采用 Unsloth Dynamic v3.1 量化方案，宣称相比其他前沿量化方案准确率提升 15%、token 使用量减少 50%、推理速度提升 5%，并支持 MTP 实现 1.3-1.7 倍推理加速。该模型是 Qwen 推出的实验性架构预览
正文结构化主题已通过公开置信门槛
魔芯科技发布MoWorld 2.0通用4D世界模型
魔芯科技在乌镇世界互联网大会上发布新一代通用4D世界模型MoWorld 2.0，将重力、弹力、流体等十余种物理要素融入同一模型，并提升物理规律建模能力。团队通过与华为昇腾NPU协同优化，将实时视频推理速度从上一代最高50 FPS提升至约70 FPS，推理成本最低为同规模GPU方案的30%。模型生成的场景可输出为3D/4D高斯资产，用于游戏、影视及机器人仿真训
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b12182：提升缓冲区计算视图上限
llama.cpp 发布 b12182 版本，主要变更是 ggml-backend-meta 为张量数量较少的缓冲区提高计算视图（compute view）上限，并设定每个缓冲区的最小计算视图数量；同时将 deepseek41 测试模型回退到 6 层。该版本同步提供 macOS/iOS、Linux、Android、Windows 等多平台多后端（CUDA、V
正文结构化主题已通过公开置信门槛
Crusoe 将怀俄明州未完工数据中心项目出售给谷歌
数据中心开发商 Crusoe 确认将怀俄明州东南部一个未完工的数据中心项目出售给谷歌，此前 Crusoe 曾试图争取谷歌成为该项目客户但未成功，谷歌据报对 Crusoe 管理下的成本和建设时间表存有顾虑。谷歌未披露收购价格，但宣布计划投资 170 亿美元开发该数据中心园区。这笔交易凸显独立数据中心开发商在设备、电力保障和工期预算上面临的交付难题，不过 Cru
正文结构化主题已通过公开置信门槛
llama.cpp b12180 新增 Kimi-K3.1-Pro 文本模型支持
llama.cpp 发布 b12180 版本，新增对 Kimi-K3.1-Pro 文本模型的支持。该模型在 93 层中将 24 层全注意力 MLA 替换为 DSA（带 lightning indexer，32 头×128，top k 2048，无 rope），KDA 线性注意力层及 K3 骨架其余部分保持不变，因此复用 K3 计算图与转换器并新增 index
正文结构化主题已通过公开置信门槛
阿里 FunASR 发布 funasr-onnx 0.4.9 运行时修复
阿里 FunASR 发布独立包 funasr-onnx 0.4.9，修复离线 VAD 对空输入或子帧输入的处理（#3846），以及空标点分块在保留流式缓存状态的前提下直接返回（#3847）。该版本为 CPU 运行时封装修复，未更改模型权重，也未下载或加载模型，不涉及 ASR 质量声明。CI 覆盖 Python 3.11/3.12 回归及多项发布契约检查，可通
正文结构化主题已通过公开置信门槛
在 NVIDIA Blackwell GPU 上加速 FLUX 3 Image Klein 图像生成
NVIDIA 技术博客发布教程，介绍如何在 NVIDIA Blackwell GPU 上通过 TensorRT LLM VisualGen 加速 Black Forest Labs 的 FLUX 3 Image Klein 图像生成与编辑模型。该模型在 NVIDIA GB200 NVL72 上训练，结合 Qwen3-VL-4B-Instruct 文本编码、扩
正文结构化主题已通过公开置信门槛
llama.cpp b12179：Hexagon 后端支持 conv 3d 并优化 conv 2d
llama.cpp 发布 b12179 版本，主要更新 Hexagon 后端：将 CONV 2D 实现泛化以支持 CONV 3D，复用现有 HMX 分块（隐式 GEMM）卷积路径，并修复除零风险、在主机端预计算展开除数、支持任意正卷积步长、改进 tile 尺寸选择，同时解决 DMA 队列溢出问题。该更新提升了骁龙 Hexagon NPU 上卷积算子的覆盖范围
正文结构化主题已通过公开置信门槛
NVIDIA 推出 Reshard 集合通信加速 RL 权重重载
NVIDIA 技术博客介绍了一种名为 Reshard 的新型集合通信原语，专门用于加速强化学习后训练中的权重重载（refit）。传统 gather-and-broadcast 方法在训练与推理 GPU 布局不同时会产生约两倍于模型权重的冗余通信量，对 Kimi K3 等万亿参数模型每次 refit 可达约 10 TB。Reshard 将 refit 重新表述
正文结构化主题已通过公开置信门槛
SageMaker Inference 支持 NVIDIA MIG GPU 分区
AWS 宣布 SageMaker Inference 支持基于 NVIDIA MIG 的 GPU 分区，可将单块物理 GPU 划分为最多七个硬件隔离分区，每个分区拥有独立的计算单元与显存。该能力建立在 inference components 之上，允许在单个端点上部署比 GPU 数量更多的模型，并避免冷启动与相互干扰。Salesforce 参与了需求定义与
正文结构化主题已通过公开置信门槛
llama.cpp b12177：修复 CLI 非法 UTF-8 崩溃
llama.cpp 发布构建版本 b12177，主要修复了 CLI 在提示词或文件中遇到非法 UTF-8 编码时的崩溃问题（PR #31563，由 Claude 辅助完成）。该版本同时提供 macOS/iOS、Linux（含 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等多种后端）、Android、Windows 及 openEuler 平
正文结构化主题已通过公开置信门槛
AMD 发布 Qwen3.8-Flash-Next MXFP4 量化模型
AMD 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 MXFP4 量化版本，使用 AMD-Quark 将 MoE 路由专家与共享专家权重及激活量化为 OCP MXFP4，注意力等其余部分保持 bf16。该模型面向 AMD MI350/MI355 硬件与 ROCm 7.2.3，通过 vLLM 推理，在 GSM8K、GPQA Di
正文结构化主题已通过公开置信门槛
AMD 发布 GLM-5.3 Quark MXFP4 量化版
AMD 在 Hugging Face 发布 GLM-5.3-Quark-MXFP4-AttnFP8，基于 zai-org/GLM-5.3 使用 AMD-Quark 工具进行 MXFP4 量化，注意力层采用 FP8 per-block，面向 AMD MI350/MI355 与 ROCm 7.1.1 平台。该模型通过 vLLM 推理，在 GSM8K、GPQA D