llama.cpp b12000 发布：新增 OCP FP8 E4M3 支持
llama.cpp 发布 b12000 版本，核心变更是为 ggml/gguf 转换与推理链路加入 OCP FP8 E4M3 量化格式支持，包括转换脚本修复、CPU 快速 F8 E4M3 kernel、Metal 后端暂时黑名单 FP8，以及针对 Qwen3-Next、NVFP4 等模型转换问题的修复。该更新提升了 llama.cpp 对 FP8 压缩权重模
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3295 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月30日周五 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
多智能体LLM流水线的协调税与异构红利：盈亏平衡条件
该论文提出一个闭式模型，将多智能体LLM流水线的协调税（分解开销加每次交接的协议成本）与异构红利（把工作路由给更便宜模型带来的节省）进行对比，给出盈亏平衡阈值和可行性边界α<1/r。作者在135个HumanEval和ClassEval任务上、用Claude Opus 5.5和Haiku 5.5运行六种架构共2430次，测得OFP协议每次交接仅增加7.2毫秒（
正文结构化主题已通过公开置信门槛
Artifact Distillation：无需训练的前沿到小模型迁移
论文提出 Artifact Distillation，一种无需训练的知识迁移方法：教师模型（Claude Opus 4.5）在训练集上解题，并将解题过程外化为可检索的 artifact bank，学生模型在推理时查询该库，无需梯度更新。在 LiveBench 四个任务上，Claude Haiku 4.5 借助该库在空间推理上超过未辅助的 Claude Son
正文结构化主题已通过公开置信门槛
相关性引导残差校准用于稠密检索嵌入谱压缩
论文提出 Relevance-Guided Residual Calibration (RRC)，一种利用相关性标注对稠密检索嵌入的谱压缩权重进行闭式校准的方法。RRC 从正负样本得分贡献的均值与方差估计各保留方向的边际权重，将对数权重分解为幂律趋势与残差，并把残差叠加到压缩器原有对数权重上，从而在保持整体谱趋势的同时按相关性调整单个方向。实验在三个编码器、
正文结构化主题已通过公开置信门槛
Predicate Neuron：梯度学习中谓词关系的可微量化
该论文提出 Native Predicate Neuron，一种可微分的逻辑推理神经模块，通过单参数操作选择与定制梯度机制，在训练前向传播中执行硬逻辑运算、反向传播保持可微，从而将一阶逻辑量化原生嵌入神经网络。作者在全连接、卷积、循环和 Transformer 架构及 MNIST、Wikitext 数据集上训练评估，结果显示该模块加速收敛并普遍提升测试准确率
正文结构化主题已通过公开置信门槛
FuriosaAI 发布 EXAONE-4.0-32B-FP8 的 RNGD 运行包
FuriosaAI 在 Hugging Face 发布 furiosa-ai/EXAONE-4.0-32B-FP8 仓库，将 LG AI Research 的 EXAONE 4.0 32B 多语言模型以 FP8 量化形式打包为 Furiosa Executable Bundle，可在 FuriosaAI RNGD 加速卡上通过 Furiosa-LLM 运行。
正文结构化主题已通过公开置信门槛
DMAD：对抗蒸馏加速 MiniMax-H3 音视频生成
字节跳动与德州农工大学的研究者发布 DMAD，一种将分布匹配作为对抗蒸馏的方法，用于加速视觉生成。该仓库提供 MiniMax-H3（33B 文本到音视频模型）的 4 步与 8 步学生模型，以及 Wan2.1-T2V、SDXL 和 EDM ImageNet-64 的蒸馏权重，并附带 ComfyUI 工作流与低显存推理支持。其影响是让 50 步教师模型可在消费级
正文结构化主题已通过公开置信门槛
mradermacher 发布 Qwen3.5-9B-Coder 的 GGUF 量化版本
开发者 mradermacher 在 Hugging Face 上发布了 Qwen3.5-9B-Coder 的 GGUF 静态量化版本，基于 armand0e/Qwen3.5-9B-Coder 模型转换而来。该仓库提供从 Q2 K 到 f16 的多种量化档位（含多模态 mmproj 补充文件），采用 Apache-2.0 许可，便于本地推理部署。其训练数据涉
正文结构化主题已通过公开置信门槛
llama.cpp b11998：支持 Mistral Le Chonk 模型
llama.cpp 发布 b11998 版本，主要变更是为 Mistral 的 Le Chonk 模型扩展 DSA 与 sdpark 支持，并修复了 CI 问题。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11997：复用张量暂存缓冲区并跳过 direct-io bounce buffer
llama.cpp 发布 b11997 版本，核心变更是复用张量暂存缓冲区（tensor staging buffer）并跳过 direct-io 的 bounce buffer（PR #31321）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO
正文结构化主题已通过公开置信门槛
Comfy-Org 发布 Qwen-Image 2.1 的 ComfyUI 重打包模型
Comfy-Org 在 Hugging Face 上发布了 Qwen-Image 2.1 的 ComfyUI 重打包模型文件，包含 bf16/int8 扩散模型、Turbo 版本及 5-8 步 LoRA、ControlNet Union 补丁、Qwen3-VL 文本编码器与 VAE。同时提供提示词增强模型（PE-T2I/PE-I2I）和配套的图生图、文生图、
正文结构化主题已通过公开置信门槛
DeepSpeed 发布 v0.19.9 补丁版本
DeepSpeed 发布 v0.19.9 补丁版本，包含约 30 项改动，主要涉及 AutoTP、AutoEP、ZeRO 优化器、Triton 内核和 CPU Adam 等组件的修复与增强。新增了面向 vocab-parallel logprobs、entropy 和 KL 的 Triton 内核，为 CPU Adam 加入 RVV 向量化 FP32 内核，
正文结构化主题已通过公开置信门槛
mradermacher 发布 gemma-4-31B-it-abliterated 的 GGUF 量化版本
开发者 mradermacher 在 Hugging Face 发布了 gemma-4-31B-it-abliterated 的 GGUF 静态量化版本，基于 wangzhang 的 abliterated（去审查）模型，提供从 Q2 K 到 Q8 0 的多种量化档位。该发布让用户可在本地以较低显存运行这一 31B 去审查模型，并另有 imatrix 加权量
正文结构化主题已通过公开置信门槛
mradermacher 发布 Gemma-4-26B 去审查模型 GGUF 量化版
Hugging Face 用户 mradermacher 发布了 gemma-4-26B-A4B-it-uncensored 的加权/imatrix GGUF 量化版本，基于 InfinimindCreations 的去审查（uncensored）Gemma 4 MoE 模型。该仓库提供从 IQ1 S 到 Q6 K 的多种量化文件，并附有大小与质量建议，方便
正文结构化主题已通过公开置信门槛
llama.cpp b11988 新增 Limite 1B 模型支持
llama.cpp 发布 b11988 版本，新增对 Limite 1B - Violetto 模型的支持，改动覆盖 gguf-py、convert 转换脚本和 llama 推理核心三部分。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp b11986：OpenCL 初步支持 IQ2 量化
llama.cpp 发布 b11986 版本，为 OpenCL 后端新增对 IQ2（iq2 s、iq2 xs、iq2 xxs）量化格式的初步支持，覆盖 AOS/SOA 矩阵向量乘、tiled mm、Adreno 平台的 noshuffle gemm/gemv 与 dp4a 实现，并优化了 Adreno 解码与窄批次性能。该改动由高通工程师 Hongqiang
正文结构化主题已通过公开置信门槛
Falcon：高效流式音视频目标说话人提取方法
研究者提出轻量级因果音视频目标说话人提取方法 Falcon，通过单次编解码的多尺度时频分离与编码器空间说话人对比损失，在零推理成本下抑制近场干扰泄漏。同时发布 RealSSA 基准，包含可控模拟场景（1-5 个动态近场干扰说话人，远场场景另含 10-15 个远场干扰源）与真实录音留出评测集。Falcon 在 RealSSA-Sim、LRS2-2Mix、LRS
正文结构化主题已通过公开置信门槛
汤道生预告混元Hy4正式版：首次加入视觉理解，Flash版近期推出
在2026腾讯全球数字生态大会上，腾讯集团高级执行副总裁汤道生宣布混元大模型Hy4正式版即将发布，相比8月开源的Hy4 Preview实现全面提升，强化长程任务与真实生产力任务处理能力，提升思维链效率，并首次加入视觉理解能力；近期还将推出主打极致性价比的Hy4 Flash。同时腾讯发布跨应用AI协同体系Buddy One及面向Agent时代的腾讯网盘，并推动
正文结构化主题已通过公开置信门槛
llama.cpp b11985：Metal 后端 MXFP4 与算子性能优化
llama.cpp 发布 b11985 版本，主要针对 Metal 后端做性能优化：MXFP4 矩阵-向量内核改用 fp16 位技巧解码 fp4 值并以对齐的 32 位字加载打包半字节，不再使用 threadgroup 内存；连续一元与二元算子改用最多 256 线程的完整 threadgroup 并做尾部边界检查；GLU 行拆分到多个 threadgroup
正文结构化主题已通过公开置信门槛
Comfy-Org 发布 MiniMax-H3 的 ComfyUI 重打包模型
Comfy-Org 在 Hugging Face 上发布了 MiniMax-H3 的 ComfyUI 重打包模型文件，包含扩散模型、Qwen3-VL-32B 文本编码器、LoRA、VAE、ControlNet 补丁及 embeddings 等多类权重。该仓库提供 bf16、int8 convrot、fp8 scaled、nvfp4 awq 等多种量化版本，并