Qwen3-0.6B 的 ONNX 版本发布,兼容 Transformers.js
Hugging Face 上的 onnx-community 发布了 Qwen3-0.6B-ONNX,这是将 Qwen/Qwen3-0.6B 转换为 ONNX 权重后的版本,用于兼容 Transformers.js。用户可通过 npm 安装 @huggingface/transformers,并在浏览器中以 WebGPU 和 q4f16 量化运行文本生成。该
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
Hugging Face 上的 onnx-community 发布了 Qwen3-0.6B-ONNX,这是将 Qwen/Qwen3-0.6B 转换为 ONNX 权重后的版本,用于兼容 Transformers.js。用户可通过 npm 安装 @huggingface/transformers,并在浏览器中以 WebGPU 和 q4f16 量化运行文本生成。该
Mastra 发布 2026 年 10 月 7 日更新,核心新增 Span Query API,可按过滤、游标、预览和模型成本查询单个已完成 span,无需先定位 trace。Trace 聚合新增 token 与成本指标,并在 ClickHouse、DuckDB、Postgres 存储中实现。语义召回支持自嵌入向量存储,无需客户端 embedder;@mas
Cornerstone OnDemand 构建了名为 Orion AI 的多智能体系统,基于 Amazon Bedrock 和 AWS 开源的 Strands Agents 编排框架,将数据库诊断时间从 45 分钟降至 10 分钟,减少 78%。系统采用中心辐射拓扑,由元编排器协调基础设施监控、数据库诊断、生命周期操作等专用子智能体,同时将手动生命周期步骤减
OpenAI 宣布对其 API 平台进行两项更新。新的 Decisions API 可评估文本、图像或两者,运行速度约为 Responses API 的十倍,目前处于公开测试阶段,仅支持 gpt-6-luna 模型,输入 token 每百万收费 0.10 美元,输出 token 免费。该 API 支持三种响应类型:是/否概率、从预定义类别中选择、以及基于量表
llama.cpp 发布 b11476 版本,为 Metal 后端新增 few-row MMA 矩阵乘法内核,覆盖 BF16、Q1 0、Q2 0、MXFP4、Q2 K、Q3 K、TQ2 0 及 IQ 系列等剩余 src0 类型。该内核在 M3 Ultra 上按类型设定生效行数阈值(TQ2 0 为 5 行,BF16 为 4 行,MXFP4/Q2 0/Q2 K/
llama.cpp 发布 b11474 版本,新增对 GLM5-Next 多 token 预测(MTP)头的支持,将其构建为 graph mtp 图。该实现通过裁剪(crop)输出行替代剪枝来优化无输出行的 NextN 前向,使 4-token catch-up 的内核耗时从 6.9 ms 降至 2.9 ms,并修复了 NextN 提取契约与共享尾部回滚问题
LangGraph 发布 langgraph-cli 0.4.33 版本。本次更新新增 --image-uri 参数以支持部署已推送的镜像,并新增 'langgraph deploy listeners list' 命令,同时升级了 virtualenv、urllib3、pyjwt 等依赖,并修复了拒绝携带凭据的 Git 依赖的安全问题。
llama.cpp 发布 b11472 版本,主要更新为采样逻辑:对符合条件的零温度(temperature=0)链改用贪心选择(greedy selection),并简化了零温度贪心资格的判定,使 CPU 与语法/推理预算路径均可使用同一贪心选择;动态温度和显式请求概率仍保留分布采样。该改动由 OpenAI Codex 辅助完成,Georgi Gergan
llama.cpp 发布 b11471 版本,主要变更是为词表添加了 plamo 的 FIM(fill-in-the-middle)token。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属于常规构建发布,主要影
llama.cpp 发布 b11469 版本,主要变更是为 MUSA 后端引入 tile lightning indexer 内核(PR #30080),由摩尔线程的 Xiaodong Ye 提交。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、
llama.cpp 发布 b11468 版本,主要更新是将 cpp-httplib 升级到 0.60.0(#30081)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11466 版本,主要修复了 ggml-webgpu 后端中 flash attn 对重叠 KV 的 supports op 检查问题(PR #28205)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVI
llama.cpp 发布 b11465 版本,主要变更是修复测试中循环回滚(recurrent rollback)时锚点保留的问题(PR #29923)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种
llama.cpp 发布 b11463 版本,主要针对 SYCL 后端优化 GLM MLA 的 prefill 性能。改动允许 GLM-4.7 Flash 的 576/576/512、GQA-20、F16 KV 形状进入 MKL flash-attention 流水线,避免回退到较慢的 TILE 内核。在 Intel Arc Pro B70 上,pp8192
llama.cpp 发布 b11462 版本,主要变更是对 SYCL 后端的 fattn kv buffers 进行清理(PR #27689)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
Langfuse 发布 v4.54.0 版本,新增按主题对 trace 分类、外部媒体存储集成、实验项与提示事件查询走查询 AST、OpenAI 结构化评审输出等功能,并改进会话视图使用 trace 转录。同时修复了仪表盘、延迟统计、数据保留授权、S3 限流告警、会话 ID 空字节、审计日志权限等多项问题,还进行了设计系统迁移与依赖升级等维护工作。
llama.cpp 发布 b11461 版本,主要修复了 Vulkan 后端在 AMD 集成显卡上读取 checkpoint 缓慢的问题(PR #30049)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
llama.cpp 发布 b11460 版本,主要变更是为 SYCL 后端新增 IQ3 S 量化格式的多列 MMVQ 支持(PR #29500)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此
llama.cpp 发布 b11459 版本,主要变更是 ggml-webgpu 在 WASI 环境下不再使用 Dawn 原生特性(PR #27069)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
OpenAI 发布了一个未公开内部模型产出的 722 篇数学手稿,覆盖 372 个结果族,来自约 4000 个研究问题的评估,平均每个结果约用 3 小时 ChatGPT Pro 算力。其中 Result 003「准黎曼假设」被评论者称为数学史上最重要时刻之一,并声称在整数乘法、弹性逆问题及黎曼、Hodge、BSD 等方向取得进展。模型本身未发布,结果尚未独立