llama.cpp b11693 发布：修复 SYCL 后端内存错误
llama.cpp 发布 b11693 版本，主要修复了 SYCL 后端在 mul mat、split buffer 和 host pool 中的内存错误（PR #29889）。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3311 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月16日周五 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11690：ngram 缓存改为按引用读取
llama.cpp 发布 b11690 版本，主要变更是 common 模块中 ngram 缓存部分改为按引用读取而非复制（PR #30061），以提升效率。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11688：优化 CPU AVX2 累加器
llama.cpp 发布 b11688 版本，主要变更是 CPU 后端将 AVX2 分块累加器合并处理（#30296），该改动由 Codex 协助完成。版本同时提供覆盖 macOS/iOS、Linux、Android、Windows、openEuler 及 UI 的多平台预编译产物，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
Langfuse v4.62.0 发布：AI Gateway 请求上限提升至 16 MiB
Langfuse 发布 v4.62.0 版本，主要更新集中在 AI Gateway 模块，包括将请求上限提升至 16 MiB 并支持配置执行限制、使用 SecretString 管理凭证、引入类型化租户 ID 和 thiserror 错误处理。此外还修复了追踪搜索中的 LIKE 通配符转义、OTel 第三方 span 元数据解码、Azure Blob 上传状
正文结构化主题已通过公开置信门槛
llama.cpp b11684：修复 Metal 融合基线测试漏检
llama.cpp 发布 b11684 版本，主要更新测试基础设施：重新录制 Metal 融合基线（131 个虚拟模型共 276 行），并修复 test-fusion 在基线行不再匹配时未报错的问题，使 qwen4exp 和 mellum 丢失融合的情况能被检测为回归。同时将 mellum 虚拟模型改为 softmax 门控以匹配其 GGUF 架构默认值，并
正文结构化主题已通过公开置信门槛
Qwen3-ASR-0.6B 的 GGUF 量化版发布，支持 transcribe.cpp
开发者 handy-computer 在 Hugging Face 上发布了 Qwen3-ASR-0.6B 的 GGUF 量化版本，供 transcribe.cpp 推理框架使用。该模型基于 Qwen/Qwen3-ASR-0.6B 转换而来，支持 30 种语言的离线多语言语音识别与自动语言检测，并提供 BF16 至 Q4 K M 多种量化档位。在 Libri
正文结构化主题已通过公开置信门槛
parakeet-tdt-1.1b 发布 GGUF 量化版，支持 transcribe.cpp
handy-computer 在 Hugging Face 上发布了 nvidia/parakeet-tdt-1.1b 的 GGUF 量化版本，用于 transcribe.cpp 推理框架。该模型为 1.1B 参数的 FastConformer-XL 编码器加 TDT/RNNT 解码器的离线英语语音识别模型，提供 F32 到 Q4 K M 六种量化档位，Li
正文结构化主题已通过公开置信门槛
parakeet-tdt-0.6b-v3 的 GGUF 量化版发布
handy-computer 在 Hugging Face 发布了 nvidia/parakeet-tdt-0.6b-v3 的 GGUF 量化版本，供 transcribe.cpp 使用。该模型为 6 亿参数的 FastConformer-TDT 多语言语音识别模型，支持 25 种欧洲语言，提供 F32 至 Q4 K M 多种量化档位，LibriSpeech
正文结构化主题已通过公开置信门槛
NVIDIA parakeet-tdt-0.6b-v2 的 GGUF 量化版发布
Hugging Face 用户 handy-computer 发布了 NVIDIA parakeet-tdt-0.6b-v2 的 GGUF 量化版本，供 transcribe.cpp 推理框架使用。该模型为 6 亿参数的英文离线语音识别模型，基于 FastConformer 编码器与 TDT/RNNT 解码器，提供 F32 至 Q4 K M 多种量化档位，L
正文结构化主题已通过公开置信门槛
NVIDIA parakeet-tdt ctc-1.1b 的 GGUF 量化版发布
Hugging Face 用户 handy-computer 发布了 NVIDIA parakeet-tdt ctc-1.1b 语音识别模型的 GGUF 量化版本，供 transcribe.cpp 推理框架使用。该模型为 1.1B 参数的 FastConformer-XL 编码器加 TDT/RNNT 解码器，支持带标点和大小写的离线英文转写，非流式、不支持翻
正文结构化主题已通过公开置信门槛
Mastra 发布 Agent 作用域、Trace 聚合与信号排队更新
Mastra 发布更新，为 Agent 引入多租户身份作用域（scopes），支持按调用、Agent 配置或可信中间件注入，并让 Memory 从 resource/thread 作用域推导路由。同时新增端到端 Trace 聚合 API、Agent 类型化信号排队（queueSignal），以及存储层输入/输出/错误预览以加速 trace 列表查询。此外修复
正文结构化主题已通过公开置信门槛
llama.cpp b11683 发布：修复 Vulkan 主机内存问题
llama.cpp 发布 b11683 版本，主要修复 Vulkan 后端中 GPU 可见主机内存相关的问题，包括主机指针导入失败时的日志刷屏、将 MoltenVK 排除在共享内存导入之外、移除不可达代码并缩短警告信息，以及因 amdgpu 性能问题在 AMD 上禁用主机内存缓冲区共享。该版本同时提供覆盖 macOS、Linux、Windows、Androi
正文结构化主题已通过公开置信门槛
范式智能联合睿思智联推出开源 AI 部署平台“模域ModelSphere”
范式智能联合睿思智联推出开源一站式生产级 AI 部署平台“模域”（ModelSphere），面向企业免费开源并已在 GitHub 上线。平台整合算力管理、模型部署与运行优化，支持华为昇腾、天数智芯、摩尔线程、海光 DCU 等国产芯片的统一调度，并已适配 DeepSeek-V4、Qwen、Kimi 等主流模型。官方称其 AutoTune 等能力可使系统极限吞吐
正文结构化主题已通过公开置信门槛
LightX2V 发布 Wan2.2 蒸馏视频模型：4 步推理
LightX2V 团队在 Hugging Face 发布 Wan2.2-Distill-Models，这是基于 Wan-AI/Wan2.2-I2V-A14B 蒸馏加速的视频生成模型，支持 4 步推理（传统需 50+ 步），并提供 I2V 与 T2V 的 14B 参数版本。模型提供 BF16/FP8/INT8 多种精度，FP8/INT8 体积约减半，并兼容 L
正文结构化主题已通过公开置信门槛
Wan2.2 蒸馏 LoRA 模型发布：4 步推理视频生成
Hugging Face 上发布了 lightx2v/Wan2.2-Distill-Loras 模型仓库，提供从 Wan2.2 蒸馏模型提取的 LoRA 权重，支持 4 步推理生成视频。该 LoRA 基于 Wan-AI/Wan2.2-I2V-A14B 基础模型，包含高噪声和低噪声两个版本，rank 为 64，可用于图生视频和文生视频任务。用户可通过 Ligh
正文结构化主题已通过公开置信门槛
Qwen-Image-2512-Lightning 蒸馏模型发布
Hugging Face 上发布了 lightx2v/Qwen-Image-2512-Lightning 模型，基于 Qwen/Qwen-Image-2512 蒸馏而来，采用 Apache-2.0 许可。该模型支持 Qwen-Image-Lightning 和 LightX2V 两种推理框架，可用于文生图任务，并兼容 ComfyUI 与 diffusers
正文结构化主题已通过公开置信门槛
Qwen-Image-Edit-2511-Lightning 蒸馏量化模型发布
Hugging Face 上发布了 lightx2v/Qwen-Image-Edit-2511-Lightning 模型集合，基于 Qwen/Qwen-Image-Edit-2511 构建，包含三个核心文件：4 步蒸馏 LoRA（BF16 与 FP32 精度）以及 FP8 量化版本。该模型通过步数蒸馏将推理步数从 40 步降至 4 步，实现约 10 倍加速，
正文结构化主题已通过公开置信门槛
微软承诺Maia多吉瓦推理部署，效率指标遭质疑
微软宣布将从2027年起把Azure Maia系列扩展到多吉瓦级部署，使Maia成为微软产品与服务的“主要推理系统”。已量产的Maia 200服务Copilot和MAI团队，Maia 300将于2027年投产，主打长上下文、内存密集和decode密集型推理，采用8堆HBM4、NUMA布局和基于以太网的统一AI网络架构。微软宣称Maia 300相比领先GPU系
正文结构化主题已通过公开置信门槛
llama.cpp b11680：Hexagon 张量重打包重构
llama.cpp 发布 b11680 版本，主要针对 Hexagon 后端进行张量重打包（tensor repacking）重构，新增对分块（tiled）与扁平（flat）量化权重及 F16/F32/BF16 权重的支持。改动涉及 GET ROWS、矩阵乘法（MM）内核、反量化内核、L2/DCache 脏数据跟踪与刷新等，并同步更新了 macOS、Linu
正文结构化主题已通过公开置信门槛
llama.cpp b11678 发布：CUDA 固定主机缓冲区上限设为 4GB
llama.cpp 发布 b11678 版本，主要变更是将 CUDA 固定主机内存（pinned host buffer）的最大大小限制为 4 GB（PR #30449）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等后端。