llama.cpp 发布 b11565：修复 SYCL 后端 DMMV 行尾读取问题
llama.cpp 发布 b11565 版本，主要修复了 SYCL 后端在行尾处 DMMV 读取的越界问题（PR #29338）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于常规维护性发布，提升了 SYC
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3312 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月12日周一 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Ternary-Bonsai-2-27B 三元量化 MTP 版发布，消费级显卡本地提速
用户 sudoingx 在 Hugging Face 发布了 Ternary-Bonsai-2-27B-PTQ1 0-MTP-GGUF，这是将 Qwen 3.8 27B 的多 token 预测（MTP）头嫁接到 PrismML 三元压缩模型（1.75 bpw，5.95 GB）上的 GGUF 量化版本，并配套一键安装脚本支持 RTX 30/40/50 及 AM
正文结构化主题已通过公开置信门槛
llama.cpp b11564：Vulkan 优化 CM2 量化块大小
llama.cpp 发布 b11564 版本，主要针对 Vulkan 后端进行优化：为 CM2 量化块大小做专门处理，并改用三元表达式避免 switch 语句降级，以提升 CM2 matmul 性能。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制，覆盖 CUDA、ROCm、Vulkan、SYCL、OpenVINO
正文结构化主题已通过公开置信门槛
llama.cpp b11563：ggml 符号默认可见性改为 hidden
llama.cpp 发布 b11563 版本，主要变更是将 ggml 的符号默认可见性改为 hidden（PR #30014），以防止部分内部符号通过 GGML API 泄漏。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后
正文结构化主题已通过公开置信门槛
阶跃 Step 5 Preview 接入腾讯 WorkBuddy，独家限免两周
腾讯旗下 AI 办公工作台 WorkBuddy 接入阶跃最新旗舰模型 Step 5 Preview，并独家限时免费开放两周。Step 5 Preview 采用稀疏 MoE 架构，总参数 6000 亿、每 Token 激活约 270 亿，面向 AI 编程、软件工程、专业知识工作及金融等场景优化，将助力 WorkBuddy 用户完成深度研究、信息检索、数据分析、
正文结构化主题已通过公开置信门槛
llama.cpp b11562：修复32位平台Vulkan缓冲区日志
llama.cpp 发布 b11562 版本，主要修复了源码拆分后在 32 位平台上 Vulkan 缓冲区日志的问题，将 vk::Buffer 流操作符移至共享头文件以便 ggml-vulkan-debug.cpp 可见。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、RO
正文结构化主题已通过公开置信门槛
DCOCO：面向推测解码的并行草稿上下文校正
该论文提出 DCOCO（DFlash Contextual Corrector），一种用于并行扩散草稿器（如 DFlash）的轻量级上下文校正机制，旨在恢复推测解码中因并行生成而丢失的块内依赖关系。DCOCO 不直接采用每个位置的 top-1 预测，而是保留多个候选 token，并利用草稿器已有的隐藏状态和 logits 并行评估相邻位置间的上下文兼容性，再
正文结构化主题已通过公开置信门槛
Kairos：面向所有模态的字节级基础模型
该论文提出Kairos架构，旨在构建一个面向所有模态的字节级基础模型，结合双向门控DeltaNet线性注意力、滑动窗口注意力、块级注意力残差聚合、稀疏MoE前馈层和多尺度字节级编解码器，并在文本、图像、音频、视频、激光雷达和控制流共享的单一字节空间上使用均匀噪声去噪目标训练。作者在1-15M参数规模下进行收敛性健全性检查，通过过拟合单句440字节文本验证实现
正文结构化主题已通过公开置信门槛
面向机器学习的代数整数量化
该论文提出代数整数数值格式（AINF）及代数整数量化（AIQ），用于机器学习中的压缩计算。AINF 可归约为纯整数运算，实现无误差乘加，并支持按用例定制代数整数。作者开发了矩阵乘法引擎，性能在现代硬件加速器上处于高效数值实现的预期倍数内；在 LLM 推理的 8-bit 和 6-bit 量化实验中，AIQ 在相同每参数比特预算下精度与行业标准 MX 格式相当。
正文结构化主题已通过公开置信门槛
ELR：消除单循环税的弹性潜在循环语言模型
该论文提出 Elastic Latent Recurrence（ELR）训练方法，解决循环语言模型在单次循环时性能低于同规模非循环模型的「单循环税」问题。ELR 通过门控状态更新、优化器更新内混合循环次数、以及按循环索引和预算进行条件化三项设计，使单循环时性能与基线相当，增加循环次数则持续提升精度。在 4B 稠密和 30B-A3B MoE 混合模型上，四循环
正文结构化主题已通过公开置信门槛
硬件故障在LLM智能体中如何不同地显现？
该研究首次系统评估了LLM智能体对随机硬件故障的韧性，在三个智能体基准上执行了6814次运行（2400+无故障、4300+注入随机双比特权重故障）。研究发现智能体执行会将模型级损坏转化为系统级结果：智能体可从故障输出中恢复并正确完成任务，但恢复会增加38.0%的平均输出token成本；部分故障产生语义上细微但重要的错误；在某些模型和场景下，故障还会改变安全与
正文结构化主题已通过公开置信门槛
AutoIndexer：通过编辑链训练因果模型实现灵活顺序解码
Autodesk AI Lab 提出 AutoIndexer，一种通过「编辑链」训练因果模型实现灵活顺序解码的方法。模型学习预测插入、替换、删除等编辑操作的标记与光标位置，从而在生成后对已有输出进行回溯修改，且不牺牲标准 LLM 基准性能。该方法在生成顺序上保持自回归（保留 KV 缓存与 EOS 提前停止优势），但在显示顺序上可非自回归，代码已开源。
正文结构化主题已通过公开置信门槛
GLM-5.3-Flash 50%专家剪枝版GGUF发布
开发者 patrickbdevaney 在 Hugging Face 发布了 GLM-5.3-Flash-REAP50-GGUF，这是对 zai-org/GLM-5.3-Flash 进行 50% 专家剪枝（321B 降至约 165B）后的 4-bit GGUF 量化版本，采用 REAP 显著性剪枝并做输出尺度校正。仓库当前仅含 v2 掩码权重，v3 采用 H
正文结构化主题已通过公开置信门槛
社区发布小米MiMo-V2.6-Flash 50%专家剪枝GGUF量化版
社区开发者 patrickbdevaney 在 Hugging Face 发布了小米 MiMo-V2.6-Flash-RL 的 50% 专家剪枝版本 MiMo-V2.6-Flash-REAP50 的 GGUF 量化文件，使用 HOPE 目标在 REAP 显著性基础上选择保留 256 个路由专家中的 128 个。该版本保留原生 MXFP4 专家权重、BF16
正文结构化主题已通过公开置信门槛
智谱GLM-5.3-Highspeed灰度上线，实测速度达490 tokens/s
智谱在Zcode平台灰度上线GLM-5.3-Highspeed模型，有网友实测其生成速度达到490 tokens/s，远高于此前GLM-5.3-FlashX的200 tokens/s和GLM-5.3-Flash在Z.ai API上约60 tokens/s的水平。该模型上下文窗口为100万token，最大生成上限约128k，并设low、high、max三档思考
正文结构化主题已通过公开置信门槛
SoloQ：面向扩散语言模型的无校准量化
该论文提出 SoloQ，一种面向扩散语言模型（dLLM）的无校准量化框架。现有 dLLM 训练后量化方法依赖校准数据，但激活分布会随掩码状态和去噪步骤变化。SoloQ 通过将权重和激活映射到归一化旋转基，实现数据无关的量化，并结合结构化 K-RPBH 旋转与轻量重缩放校正，支持分布匹配码本和硬件原生 NVFP4。在 LLaDA、Dream、Fast-dLLM
正文结构化主题已通过公开置信门槛
Jundot 发布 Qwen3.8-27B 混合精度 MLX 量化版
开发者 Jundot 在 Hugging Face 发布了 Qwen3.8-27B-oQ4e-mtp，这是对 Qwen/Qwen3.8-27B 的混合精度 MLX 量化版本，使用 oMLX v0.7.1 的 oQ 量化方法，平均约 4.887 bits/weight，完整权重约 15.8 GiB。该模型为 27B 稠密视觉语言模型，基于 Qwen3.5 架构
正文结构化主题已通过公开置信门槛
Minions：基于闲置 Apple Silicon 设备的分布式虚拟 GPU 云
Apple Machine Learning Research 发表论文提出 Minions，一个动态分布式虚拟 GPU 云系统，将多台 macOS 设备上闲置的 Apple Silicon GPU 聚合起来执行大规模机器学习推理任务。该系统提供灵活的 GPU 推理任务执行、容错能力和高效资源利用，使团队无需额外采购 GPU 即可利用现有硬件。作者表示，在集
正文结构化主题已通过公开置信门槛
mradermacher 发布 Huihui-Qwen3.8-27B 去审查模型 GGUF 量化版
开发者 mradermacher 在 Hugging Face 上发布了 Huihui-Qwen3.8-27B-abliterated 模型的静态 GGUF 量化版本，提供从 Q2 K 到 Q8 0 以及 IQ4 XS 等多种量化规格，并附带多模态 mmproj 文件。该模型基于 huihui-ai 的去审查（abliterated）Qwen3.8-27B
正文结构化主题已通过公开置信门槛
llama.cpp b11559：优化 OpenCL flash attention 并支持 Gemma-4 dk512
llama.cpp 发布 b11559 版本，主要针对 OpenCL 后端进行优化：改进 flash attention，为 Gemma-4 模型开放 dk512 支持，并优化 dk64 的 GQA 解码。改动由高通工程师参与贡献，同时发布了覆盖 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。