Mastra 发布 MCP Events、可观测性升级与多项破坏性变更
Mastra 发布更新，引入实验性 MCP Events（SEP-3415 草案），允许 MCP 服务器发布事件流，客户端可通过轮询、长连接或签名 webhook 接收，并在 Studio 中检查事件类型与测试发送。可观测性方面新增 span 聚合存储契约、首块耗时（timeToFirstChunkMs）字段及更丰富的 trace/span 查询能力。此外，
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3309 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月21日周三 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp b11795：/v1/messages 支持转发采样参数
llama.cpp 发布 b11795 版本，主要改动在 server 端：/v1/messages 接口现在会转发 llama.cpp 的采样参数，并支持通过 extra params 传入这些参数，同时改为直接透传请求而非复制指定字段。该版本还提供了覆盖 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11793：优化词表加载
llama.cpp 发布 b11793 版本，核心变更是优化词表（vocabulary）加载流程，由 Georgi Gerganov 等人参与代码审查，并在 gguf kv to str 中增加 reserve、修复尾随空格。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROC
正文结构化主题已通过公开置信门槛
Langfuse 发布 v4.67.0：简化 CLI 安装并增强 API 密钥过滤
Langfuse 发布 v4.67.0 版本，主要更新包括简化 skills 的 CLI 安装与导入配置、为组织 API 密钥增加名称搜索和网关密钥过滤功能。修复方面涉及 Slack 市场审核中的链接按钮与私有频道可见性、MCP 在生产环境未设置时回退到最新 skill、会话搜索包含 trace 名称等问题。此外还包含 AI 网关发布镜像、审计日志省略数据集
正文结构化主题已通过公开置信门槛
PAR：进度对齐循环提升状态跟踪的长度泛化
研究者提出 Progress-Aligned Recurrence（PAR）训练方法，让循环语言模型在第 k 次迭代时预测前 k 步操作后的状态，并将循环状态重新缩放到首次迭代的范数。在 swap-S 5 任务上，仅用最多 32 步序列训练的 Qwen2.5-0.5B 模型在 512 步时达到 95.5% 全状态准确率，实现 16 倍长度外推，显著优于 RL
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11791：修复 Metal GPU capture 内存泄漏
llama.cpp 发布构建版本 b11791，主要修复了 Metal 后端在 GPU capture 路径中的内存泄漏并清理了相关逻辑（PR #30890）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于常规维护性修复
正文结构化主题已通过公开置信门槛
NVIDIA 在柏林 GTC 展示本地 AI 硬件与智能体生态
NVIDIA 在柏林 GTC 上展示了其本地 AI 硬件全线产品，包括面向 Windows PC 的 RTX Spark、面向开发者的 DGX Spark 以及面向企业的 DGX Station。RTX Spark 支持在设备端运行个人智能体，DGX Spark 新增 64GB 版本并支持最多八台集群，DGX Station 则提供 748GB 内存和 20
正文结构化主题已通过公开置信门槛
llama.cpp b11790：Hexagon 后端 NEON 向量化重打包
llama.cpp 发布 b11790 版本，核心变更是为 Hexagon 后端加入 NEON 向量化的权重重打包（repack/tiling），覆盖 q4 0 等多种量化类型，并加入简单的分块与多线程支持。该 PR 由高通（Qualcomm）工程师参与贡献，同时发布 macOS、Linux、Windows、Android 等多平台预编译包，包含 Snapd
正文结构化主题已通过公开置信门槛
NVIDIA 扩展机密计算，推出 Confidential Bare Metal
NVIDIA 宣布扩展 Confidential Computing（机密计算），推出 Confidential Bare Metal 裸金属部署选项，使前沿模型构建者能在第三方云、neocloud 和企业基础设施上运行敏感工作负载，同时保留对模型和数据的控制。该方案与 Confidential Containers、Confidential Virtual
正文结构化主题已通过公开置信门槛
llama.cpp b11789：OpenCL 新增 dp4a GEMM 变体
llama.cpp 发布 b11789 版本，主要变更为在 OpenCL 后端新增支持向量加载激活的 dp4a GEMM 变体，并重命名了相关 kernel 与环境变量。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 等多平台、多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO 等）的预编译二进制包。此次
正文结构化主题已通过公开置信门槛
llama.cpp b11788 修复 SYCL Flash Attention 崩溃
llama.cpp 发布 b11788 版本，主要修复 SYCL 后端中 Flash Attention 在查询头维度不匹配（neq0 != HSK，D=2048/4096）时的崩溃问题（PR #30286）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制，涵盖 CUDA、Vu
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11787：SYCL mmq 合并重复启动函数体
llama.cpp 发布构建版本 b11787，主要变更是 SYCL 后端在 mmq 中合并重复的 need check 启动函数体（PR #30739）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于底层推理引擎的维护
正文结构化主题已通过公开置信门槛
NVIDIA 发布 DSX POD 参考设计，工厂预制加速 AI 工厂部署
NVIDIA 发布 DSX POD 参考设计，将 AI 工厂的机架级系统集成、网络、存储、供电、液冷等大部分工作转移到工厂环境中完成，并在出货前进行功能验证。该设计基于 NVIDIA Vera Rubin 平台，旨在减少现场集成复杂度，帮助运营方更快、更可预测地获得可用的 AI 算力。NVIDIA 及其生态伙伴将围绕产品工程、部署和支持展开协作。
正文结构化主题已通过公开置信门槛
Ornith-1.5-35B-A3B 的 ROCmFPX 量化 GGUF 发布
开发者 ArtomYuan 在 Hugging Face 发布了 Ornith-1.5-35B-A3B-ROCmFPX，这是对 ornith-ai/Ornith-1.5-35B-A3B 官方基座模型进行本地重量化后的 GGUF 版本，提供 7 个量化档位及视觉 mmproj。该版本需配合其 llama.cpp 分支 strix.cpp 使用，后者针对 AMD
正文结构化主题已通过公开置信门槛
Qwen-Image-2.1-Turbo 的 GGUF 量化版发布
开发者 DogukanUrker 在 Hugging Face 发布了 Qwen/Qwen-Image-2.1-Turbo（8 步蒸馏的 7B DiT 文生图模型）的 GGUF 量化版本，使用 stable-diffusion.cpp 在发布当天从官方 diffusers 权重转换，并在单张 RTX 3060 12GB 上测试了每个量化档位。该版本面向 st
正文结构化主题已通过公开置信门槛
DeepSeek 开源生产推理栈 DeepInfer，称单集群日处理 155 万亿 token
DeepSeek 在 PyTorch Conf 首日开源了其生产推理栈 DeepInfer，该引擎基于 vLLM 定制，支持分布式推理、投机解码与结构化输出，并可在 NVIDIA 与华为昇腾平台运行。官方披露单集群日处理 155 万亿 token、96% 输入缓存命中、约 80% 推理毛利率与 81 天回本周期，但 KV 缓存管理与负载均衡等核心组件尚未完全
正文结构化主题已通过公开置信门槛
llama.cpp b11785：MoE 下投影按专家 token 缩放并支持张量并行
llama.cpp 发布 b11785 版本，核心改动是将 MoE 下投影的全局 amax 重缩放替换为按专家 token 计算的缩放因子（沿中间维度做 POOL 1D 最大值归约），并用相同的 2 的幂因子在输出端还原。同时在 Meta 分片状态逻辑中处理 POOL 1D，使沿 axis 0 的分片变为各设备复制的部分结果，从而支持张量并行。该改动由 Ge
正文结构化主题已通过公开置信门槛
一次抓取背后的Token经济学：算力、模型与语料如何计量
文章以人形机器人在3C产线完成抓取质检为切入点，讨论Token作为模型服务、推理算力与数据供给的计量接口。文中引用工信部数据称截至2026年6月我国日均词元调用量突破500万亿，并列举DeepSeek峰谷定价、燧原科技科创板上市、无问芯穹异构推理架构等案例，说明算力评价正从硬件配置转向Token生成效率与交付质量。文章同时指出不同模型分词与计费口径不一，To
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11784：修复 SYCL IQ3 崩溃
llama.cpp 发布 b11784 版本，主要修复了 SYCL 后端下 IQ3 量化格式导致的崩溃问题（PR #30604）。该版本同步提供 macOS/iOS、Linux（含 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等后端）、Android、Windows 及 openEuler 的多平台预编译二进制包和 UI 包。此次更新属于常
正文结构化主题已通过公开置信门槛
llama.cpp b11782：修复 server 多补全 token 计数偏少
llama.cpp 发布 b11782 版本，修复了 server 在 n 1 时 usage.completion tokens 统计偏少的问题（由 Copilot 辅助完成）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO 等）的预编译二进制包。