NVIDIA 英伟达

parakeet.cpp 的 GGUF 格式 Parakeet 语音识别模型合集

开发者 mudler 在 Hugging Face 发布 parakeet-cpp-gguf 仓库，将 NVIDIA NeMo Parakeet 系列语音识别模型（含 tdt ctc-110m、ctc/rnnt/tdt 0.6b 与 1.1b、实时流式 EOU 模型等）转换为 GGUF 格式，供 C++/ggml 实现的 parakeet.cpp 在 CPU

llama.cpp b12000 发布：新增 OCP FP8 E4M3 支持

llama.cpp 发布 b12000 版本，核心变更是为 ggml/gguf 转换与推理链路加入 OCP FP8 E4M3 量化格式支持，包括转换脚本修复、CPU 快速 F8 E4M3 kernel、Metal 后端暂时黑名单 FP8，以及针对 Qwen3-Next、NVFP4 等模型转换问题的修复。该更新提升了 llama.cpp 对 FP8 压缩权重模

llama.cpp 发布 b11997：复用张量暂存缓冲区并跳过 direct-io bounce buffer

llama.cpp 发布 b11997 版本，核心变更是复用张量暂存缓冲区（tensor staging buffer）并跳过 direct-io 的 bounce buffer（PR #31321）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO

llama.cpp b11988 新增 Limite 1B 模型支持

llama.cpp 发布 b11988 版本，新增对 Limite 1B - Violetto 模型的支持，改动覆盖 gguf-py、convert 转换脚本和 llama 推理核心三部分。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

llama.cpp b11985：Metal 后端 MXFP4 与算子性能优化

llama.cpp 发布 b11985 版本，主要针对 Metal 后端做性能优化：MXFP4 矩阵-向量内核改用 fp16 位技巧解码 fp4 值并以对齐的 32 位字加载打包半字节，不再使用 threadgroup 内存；连续一元与二元算子改用最多 256 线程的完整 threadgroup 并做尾部边界检查；GLU 行拆分到多个 threadgroup

Mistral 发布万亿参数编码模型 Le Chonk，整体仍落后中国开源模型

法国 Mistral 发布其迄今最大模型 Mistral Large 4（代号 Le Chonk）的权重，约 1 万亿参数、每步激活 520 亿，采用修改版 MIT 许可，可在自有硬件上运行。该模型在编码基准上领先开源模型，但 Artificial Analysis 智能指数仅 26 分，落后于 DeepSeek V4.1 Flash、GLM-5.3 等中国

另有 1 家信源报道

MinerU 4.1.0 发布：GPU 自动加速与统一 Tasks 接口

MinerU 发布 4.1.0 版本，默认安装即可在 Windows、Linux、macOS 上运行 CPU 推理，并自动选择 Intel、AMD、NVIDIA 或 Apple Silicon 的 GPU 加速，核心推理场景速度约为 CPU 的 2～3 倍。该版本用统一的 /v1/tasks 异步接口替换旧的上传与解析工作流，新增可恢复的同步解析服务 fil

llama.cpp v0.8.0 发布：新增 LFM3 系列与实时音频 API

llama.cpp 发布 v0.8.0，新增 LiquidAI LFM3 系列（文本、视觉、音频、全模态）支持，并在 mtmd 中引入实验性流式音频 API，同时通过新增的 /v1/realtime 和 /tts 端点实现服务器端实时音频输入输出。该版本还新增 DeepSeek V4.1 Flash、SenseNova U1、Granite Switch D

llama.cpp 发布 b11960，版本号升至 0.8.0

llama.cpp 发布 b11960 版本，将版本号提升至 0.8.0 并更新作者信息。该版本提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，包含 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等多种后端，并附带 UI 包。此次发布为本地大模型推理用户带来

无问芯穹登顶英伟达GPU算子榜四大赛道，拿下88项单题第一

无问芯穹（Infinigence AI）在 NVIDIA Research 推出的 GPU 算子性能评测榜单 SOL-ExecBench 上，先后登顶 L1 基础算子、L2 融合算子、Quant 量化算子与 FlashInfer-Bench 推理算子四大赛道；截至 2026 年 10 月 26 日，在全部 235 道题目中以 88 项单题第一居首，超过第二名

FinLLM-KG：知识图谱增强LLM的金融情感分析

该论文提出 FinLLM-KG，一个模型无关的框架，将因果 LLM 与金融知识图谱结合，在推理时注入来自 SEC 10-K 文件的公司级知识，无需更新模型权重。上下文以自然语言公司简介或少量相关性排序的事实三元组形式提供，使情感预测能考虑公司层面的信息，并可将预测归因到具体句子和知识图谱事实以增强可解释性。模拟实验表明，该框架在投资组合表现上持续优于现有基线

llama.cpp b11940：支持延迟工具与 tool reference 内容片段

llama.cpp 发布 b11940 版本，核心变更是 common 模块支持 deferred tools 与 tool reference 内容片段（PR #31256），并修复了相关测试的类型检查。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 的多后端预编译包，包括 CUDA、Vulkan、ROCm、SYCL、O

llama.cpp b11938 新增支持 LiquidAI LFM3 系列模型

llama.cpp 发布 b11938 版本，新增对 LiquidAI/LFM3-1.7B 和 LiquidAI/LFM3-VL-2B 两个模型的支持，由 Hugging Face 的 Sigbjørn Skjæret 与 Xuan-Son Nguyen 等贡献。改动包括为 LFM3 启用循环状态回滚、设置测试模型的 SWA rope base、在量化时保持

llama.cpp 发布 b11935：RPC 捕获 length error

llama.cpp 发布构建版本 b11935，主要变更是 RPC 模块在 recv msg 中捕获 std::length error 异常（PR #31204）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于小型

JiRack Ultra 1B：面向 CPU 的三值量化小模型

CMSManhattan 在 Hugging Face 发布 JiRack Ultra 1B 模型，约 1.5B 参数，基于重新设计的 DeepSeek R1 架构并原生支持 BitNet 风格三值（1.58bit）量化，面向 CPU 推理优化，提供 GGUF 量化版本与 Docker 部署方式。模型更新了 tokenizer，新增 Routing、Tool

llama.cpp 发布 b11932：mtmd-cli 缩小 batch pointer 作用域

llama.cpp 发布 b11932 版本，主要变更是 mtmd-cli 缩小了 batch pointer 的作用域（#31155），并移除了对应的 CLI 回归测试。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

前DeepMind研究员拟用AlphaGo思路治理AI幻觉

前DeepMind研究员Thore Graepel创立Metis Reasoning，提出借鉴AlphaGo的搜索与验证思路来减少AI幻觉：将知识从模型权重中分离，存入外部“知识账本”，由独立模块依据计算、形式证明或经验证据核验每个假设，并据此重新评估依赖该假设的结论。该方法目前仅为理论框架，尚无可用系统、基准测试或与现有推理模型的对比。Graepel称正为

llama.cpp 发布 b11929：common 模块强制要求 --model 或 -hf 参数

llama.cpp 发布构建版本 b11929，主要变更是 common 模块现在要求必须提供 --model 或 -hf 参数（PR #31242），该改动由 Codex 辅助完成。发布同时提供 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台预编译包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL

llama.cpp b11926：glm5-next 支持无 kq mask 的 QSA 并加入 DSA

llama.cpp 发布 b11926 版本，主要变更是为 glm5-next 实现不带 kq mask 的 QSA，并加入 DSA 支持，其中 DSA 的 top-k mask 改动已在 DeepSeek-V3.2 的第 0、3 层上测试。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多后端预

llama.cpp b11922：修复多序列拆分回放测试

llama.cpp 发布 b11922 版本，主要修复了多序列（multi-seq）拆分回放测试中针对已训练模型的若干问题：调整回滚快照与参考上下文的比较方式，仅比较每个序列首个回放 token，并要求 seq-1 隔离达到位精确；同时移除基于 llama model n swa() 的部分状态平坦性检查，保留 partial <= full 不变量。该版本