返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月8日周四 · 2 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Qwen3-0.6B 的 ONNX 版本发布,兼容 Transformers.js

Hugging Face 上的 onnx-community 发布了 Qwen3-0.6B-ONNX,这是将 Qwen/Qwen3-0.6B 转换为 ONNX 权重后的版本,用于兼容 Transformers.js。用户可通过 npm 安装 @huggingface/transformers,并在浏览器中以 WebGPU 和 q4f16 量化运行文本生成。该

正文结构化主题已通过公开置信门槛
Mastra Releases一手来源产品发布

Mastra 发布 Span 查询 API 与 Trace 成本聚合更新

Mastra 发布 2026 年 10 月 7 日更新,核心新增 Span Query API,可按过滤、游标、预览和模型成本查询单个已完成 span,无需先定位 trace。Trace 聚合新增 token 与成本指标,并在 ClickHouse、DuckDB、Postgres 存储中实现。语义召回支持自嵌入向量存储,无需客户端 embedder;@mas

10月7日周三 · 18 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源商业

Cornerstone 用 Amazon Bedrock 多智能体系统将数据库诊断时间缩短 78%

Cornerstone OnDemand 构建了名为 Orion AI 的多智能体系统,基于 Amazon Bedrock 和 AWS 开源的 Strands Agents 编排框架,将数据库诊断时间从 45 分钟降至 10 分钟,减少 78%。系统采用中心辐射拓扑,由元编排器协调基础设施监控、数据库诊断、生命周期操作等专用子智能体,同时将手动生命周期步骤减

正文结构化主题已通过公开置信门槛
THE DECODERAPI 更新

OpenAI 推出 Decisions API,将复杂评估简化为是、否或单选

OpenAI 宣布对其 API 平台进行两项更新。新的 Decisions API 可评估文本、图像或两者,运行速度约为 Responses API 的十倍,目前处于公开测试阶段,仅支持 gpt-6-luna 模型,输入 token 每百万收费 0.10 美元,输出 token 免费。该 API 支持三种响应类型:是/否概率、从预定义类别中选择、以及基于量表

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11476:Metal 新增多类型 few-row MMA 矩阵乘法内核

llama.cpp 发布 b11476 版本,为 Metal 后端新增 few-row MMA 矩阵乘法内核,覆盖 BF16、Q1 0、Q2 0、MXFP4、Q2 K、Q3 K、TQ2 0 及 IQ 系列等剩余 src0 类型。该内核在 M3 Ultra 上按类型设定生效行数阈值(TQ2 0 为 5 行,BF16 为 4 行,MXFP4/Q2 0/Q2 K/

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11474 新增 GLM5-Next MTP 支持并优化

llama.cpp 发布 b11474 版本,新增对 GLM5-Next 多 token 预测(MTP)头的支持,将其构建为 graph mtp 图。该实现通过裁剪(crop)输出行替代剪枝来优化无输出行的 NextN 前向,使 4-token catch-up 的内核耗时从 6.9 ms 降至 2.9 ms,并修复了 NextN 提取契约与共享尾部回滚问题

正文结构化主题已通过公开置信门槛
LangGraph Releases一手来源开源

LangGraph CLI 0.4.33 发布:新增镜像部署与监听列表命令

LangGraph 发布 langgraph-cli 0.4.33 版本。本次更新新增 --image-uri 参数以支持部署已推送的镜像,并新增 'langgraph deploy listeners list' 命令,同时升级了 virtualenv、urllib3、pyjwt 等依赖,并修复了拒绝携带凭据的 Git 依赖的安全问题。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11472:零温度链改用贪心采样

llama.cpp 发布 b11472 版本,主要更新为采样逻辑:对符合条件的零温度(temperature=0)链改用贪心选择(greedy selection),并简化了零温度贪心资格的判定,使 CPU 与语法/推理预算路径均可使用同一贪心选择;动态温度和显式请求概率仍保留分布采样。该改动由 OpenAI Codex 辅助完成,Georgi Gergan

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11471:为词表添加 plamo FIM token

llama.cpp 发布 b11471 版本,主要变更是为词表添加了 plamo 的 FIM(fill-in-the-middle)token。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属于常规构建发布,主要影

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11469:MUSA 后端引入 tile lightning indexer 内核

llama.cpp 发布 b11469 版本,主要变更是为 MUSA 后端引入 tile lightning indexer 内核(PR #30080),由摩尔线程的 Xiaodong Ye 提交。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11468:升级 cpp-httplib 至 0.60.0

llama.cpp 发布 b11468 版本,主要更新是将 cpp-httplib 升级到 0.60.0(#30081)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11466 发布:修复 WebGPU flash attn 重叠 KV 检查

llama.cpp 发布 b11466 版本,主要修复了 ggml-webgpu 后端中 flash attn 对重叠 KV 的 supports op 检查问题(PR #28205)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVI

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11465:修复循环回滚测试锚点

llama.cpp 发布 b11465 版本,主要变更是修复测试中循环回滚(recurrent rollback)时锚点保留的问题(PR #29923)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11463:SYCL 加速 GLM MLA prefill

llama.cpp 发布 b11463 版本,主要针对 SYCL 后端优化 GLM MLA 的 prefill 性能。改动允许 GLM-4.7 Flash 的 576/576/512、GQA-20、F16 KV 形状进入 MKL flash-attention 流水线,避免回退到较慢的 TILE 内核。在 Intel Arc Pro B70 上,pp8192

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11462:SYCL fattn kv buffers 清理

llama.cpp 发布 b11462 版本,主要变更是对 SYCL 后端的 fattn kv buffers 进行清理(PR #27689)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse 发布 v4.54.0:新增 trace 主题分类与外部媒体存储

Langfuse 发布 v4.54.0 版本,新增按主题对 trace 分类、外部媒体存储集成、实验项与提示事件查询走查询 AST、OpenAI 结构化评审输出等功能,并改进会话视图使用 trace 转录。同时修复了仪表盘、延迟统计、数据保留授权、S3 限流告警、会话 ID 空字节、审计日志权限等多项问题,还进行了设计系统迁移与依赖升级等维护工作。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11461:修复 AMD 集显 Vulkan checkpoint 读取缓慢

llama.cpp 发布 b11461 版本,主要修复了 Vulkan 后端在 AMD 集成显卡上读取 checkpoint 缓慢的问题(PR #30049)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11460:SYCL 新增 IQ3 S 多列 MMVQ

llama.cpp 发布 b11460 版本,主要变更是为 SYCL 后端新增 IQ3 S 量化格式的多列 MMVQ 支持(PR #29500)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11459:ggml-webgpu 在 WASI 上禁用 Dawn 原生特性

llama.cpp 发布 b11459 版本,主要变更是 ggml-webgpu 在 WASI 环境下不再使用 Dawn 原生特性(PR #27069)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
Latent Space研究

OpenAI 发布 722 篇数学论文,称解决 500 个开放问题中的 90 个

OpenAI 发布了一个未公开内部模型产出的 722 篇数学手稿,覆盖 372 个结果族,来自约 4000 个研究问题的评估,平均每个结果约用 3 小时 ChatGPT Pro 算力。其中 Result 003「准黎曼假设」被评论者称为数学史上最重要时刻之一,并声称在整数乘法、弹性逆问题及黎曼、Hodge、BSD 等方向取得进展。模型本身未发布,结果尚未独立