llama.cpp b10707 发布：优化 kv-cells 扫描提升长上下文生成速度
llama.cpp 发布 b10707 版本，优化了 kv-cells 的序列扫描逻辑，在保持行为不变的前提下提前终止扫描。该优化显著提升了长上下文下的生成速度，例如在 RTX PRO 6000 上 55k 上下文从 56.3 t/s 提升至 74.3 t/s，132k 上下文从 33.6 t/s 提升至 50.9 t/s。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3328 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月31日周一 · 15 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp b10706 发布：新增 SWIGLU CLAMP 及 Vulkan 支持
llama.cpp 发布 b10706 版本，新增 SWIGLU CLAMP 操作，并为其添加了 Vulkan 着色器支持。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm 等多种后端。
正文结构化主题已通过公开置信门槛
Inco AI 发布 DFlash 2 草稿模型，加速 GLM-5.3-Flash 投机解码
Inco AI 发布了 DFlash 2 草稿模型，用于 GLM-5.3-Flash 的投机解码。该模型采用块扩散技术，单次预测整个 token 块，并通过轻量选择器保持解码无损。用户可通过 SGLang 集成使用，模型以 CC BY-NC-ND 4.0 许可发布，仅限研究用途。
正文结构化主题已通过公开置信门槛
llama.cpp b10705 发布：改进 TENSOR READ LAZY 处理
llama.cpp 发布 b10705 版本，主要改进了 TENSOR READ LAZY 处理逻辑，在启用 lazy 模式时强制 CPU 上的张量使用 lazy 加载。该版本提供了覆盖 macOS、Linux、Windows、Android 等多平台的预编译二进制文件，并支持多种后端如 Vulkan、CUDA、ROCm 等。
正文结构化主题已通过公开置信门槛
llama.cpp b10704 发布：优化 MoE 专家路径，提升推理速度
llama.cpp 发布 b10704 版本，优化了 CUDA 下 MoE 模型的 mm ids helper 路径，使 n expert used 为 10 时也能使用快速路径，在 Qwen3.8-Flash-Next 模型上 prompt 处理速度从 2334 t/s 提升至 2600 t/s。该版本同时提供了多平台二进制文件。
正文结构化主题已通过公开置信门槛
llama.cpp b10703 发布：优化 RDNA 3 矩阵乘法配置
llama.cpp 发布 b10703 版本，主要更新为针对 RDNA 3 架构调整了矩阵乘法（MMQ）配置，以优化 AMD GPU 上的推理性能。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持 CUDA、Vulkan、ROCm、OpenVINO、SYCL 等多种后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10702 发布：优化 HIP Q2 0 点积性能
llama.cpp 发布 b10702 版本，主要针对 HIP 后端优化了 Q2 0 量化格式的点积路径，特别为 gfx1201 架构使用原生 amdgcn perm 指令提升性能。该版本提供了多平台预编译二进制，包括 macOS、Linux、Windows、Android 等，并支持多种后端如 CUDA、Vulkan、ROCm 等。
正文结构化主题已通过公开置信门槛
llama.cpp b10701 修复 NVFP4 草稿模型投机解码问题
llama.cpp 发布 b10701 版本，修复了 DFlash2 NVFP4 草稿模型在投机解码中因未传递 Q、K、V 和输出投影的缩放因子而导致接受 token 极少的问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10700 发布：重命名参数并更新多平台构建
llama.cpp 发布 b10700 版本，将命令行参数 --tensor-read-lazy 重命名为 --lazy-mode，并新增 -lzm 简写。该版本同步更新了 README 文档，并提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
正文结构化主题已通过公开置信门槛
llama.cpp b10699 发布：优化后端内存分配与 RPC 支持
llama.cpp 发布 b10699 版本，新增 ggml backend op alloc size may expand 函数，用于处理 Metal、SYCL、WebGPU 等后端在特定算子上的额外内存需求，并优化了 RPC 后端的内存分配查询逻辑。该版本提供了多平台（macOS、Linux、Windows、Android 等）的预编译二进制文件。
正文结构化主题已通过公开置信门槛
高通高管谈2bit量化与HBC技术：性价比优于HBM，已与中国厂商合作
高通工程技术高级副总裁侯纪磊在圣迭戈总部与媒体交流，介绍了高通在2bit量化感知训练（QAT）方案上的进展，已与部分中国厂商合作。他还详解了高带宽计算（HBC）技术，相比HBM具有性价比优势，有效内存带宽提升显著。高通正推动端云协同的智能体体验，并与模型厂商深度适配形成参考方案。
正文结构化主题已通过公开置信门槛
Mistral 发布 Large 2.1 与 Pixtral Large，Le Chat 新增多项功能
Mistral 于 11 月 18 日发布了 Mistral Large 2.1 和 Pixtral Large 模型，后者为多模态模型，支持文档和图像理解。同时，Le Chat 平台新增了带引用的网络搜索、画布功能、图像生成（由 Black Forest Labs 的 Flux Pro 驱动）以及更快的响应速度。
正文结构化主题已通过公开置信门槛
DeepSeek 发布 V3.1 混合推理模型，提升 Agent 能力
DeepSeek 将 deepseek-chat 和 deepseek-reasoner 升级为 DeepSeek-V3.1，分别对应非思考模式和思考模式。新模型采用混合推理架构，支持两种模式，思考效率较 R1-0528 提升，并通过后训练优化增强了 Agent 能力，在 SWE-bench 等基准上表现优异。
正文结构化主题已通过公开置信门槛
DeepSeek 非正式发布 V3.2-Speciale API，限时支持思考模式
DeepSeek 非正式部署了 DeepSeek-V3.2-Speciale 的 API 服务，用户可通过特定 base url 访问。该模型 API 价格不变，仅支持思考模式对话，不支持工具调用，最大输出长度 128K，服务截止至 2025 年 12 月 15 日。
正文结构化主题已通过公开置信门槛
DeepSeek-V4-Pro 正式版上线并更新 API
DeepSeek 在 APP、网页端和 API 正式上线 DeepSeek-V4-Pro，API 模型名设为 deepseek-v4-pro，调用方式不变。正式版重点增强 Agent 能力，并公布 HLE、Terminal Bench 2.1、NL2Repo 等多项基准成绩。API 原生支持 OpenAI Responses API 格式并适配 Codex，
8月30日周日 · 5 条
正文结构化主题已通过公开置信门槛
llama.cpp b10698 发布：修复 Apple RDMA 错误输出
llama.cpp 发布 b10698 版本，主要修复了 Apple RDMA 在 teardown 时的错误输出问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种后端如 Vulkan、CUDA、ROCm 等。
正文结构化主题已通过公开置信门槛
FunASR v1.4.9 发布：修复多项问题并捆绑 llama.cpp 运行时
阿里 FunASR 发布 v1.4.9 版本，主要修复了字幕分割、自动模型、Paraformer 时间戳预测器及实时长尾保留等问题，并新增了 MOSS 说话人日志的 SGLang 路径文档。该版本还捆绑了 llama.cpp/GGUF 运行时 v0.2.6，提供多平台预编译二进制文件，支持 Linux、macOS 和 Windows 的多种硬件加速选项。
正文结构化主题已通过公开置信门槛
llama.cpp b10696 发布：为 M3 Pro 添加 fa-vec 调优
llama.cpp 发布 b10696 版本，主要更新是为 Apple M3 Pro 芯片添加 fa-vec 调优，以解决相关性能问题。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10695 发布：更新 cpp-httplib 依赖
llama.cpp 发布 b10695 版本，主要更新了 cpp-httplib 依赖至 0.54.0 和 0.54.1。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
GLM-5.3-Flash NVFP4 量化版发布：体积缩减70%
LibertAI 发布了 GLM-5.3-Flash 的 NVFP4 量化版本，将模型从 598.5 GiB 压缩至 181 GiB，体积减少 70%，余弦相似度达 0.99665。该量化仅针对路由专家 FFN，保留注意力、视觉塔等关键部分为 BF16，确保多模态行为与原始模型一致。模型支持 vLLM 和 SGLang，但需要特定配置，且已修复 GB10 上