返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3316 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

9月16日周三 · 20 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b10993 发布：为 hf-jobs 添加自托管 WebGPU 与 Vulkan

llama.cpp 发布 b10993 版本，主要变更是为 hf-jobs 添加自托管的 WebGPU 和 Vulkan 后端，并调整 CPU 后端线程数。该版本同时提供覆盖 macOS、Linux、Windows、Android 等平台的预编译二进制，支持 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等多种加速后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b10992：llama-bench 支持 --version 打印构建信息

llama.cpp 发布 b10992 版本，主要变更是为 llama-bench 增加 --version 参数以打印构建信息（PR #28971）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CUDA、Vulkan、ROCm、OpenVINO、SYCL 等多种后端。

正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源研究

曼彻斯特大学用NVIDIA Earth-2预测全英空气污染

曼彻斯特大学David Topping团队利用NVIDIA Earth-2系列开放AI模型（CorrDiff、StormCast）在英国国家AI超算Isambard-AI上训练出覆盖全英的空气质量预测模型，训练仅用两天，分辨率达2-3平方公里。该模型可预测未来污染情景，并能在DGX Spark桌面AI系统上运行推理和小规模训练，团队计划开源训练数据与工作流，

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

TAARDIS-27B 全三值量化模型发布：1.75bit 仅 5.9GB

开发者 CodeMasterCody3D 在 Hugging Face 发布 TAARDIS-27B 全三值量化模型，基于 Qwen3.8-27B，将全部权重（含 LM head 与 embedding）压至 1.75 bit/权重、5.90 GB，并附带 496 个跨层低秩三值修正分支 The Doctors，使 Wikitext 困惑度从 13.61 降

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

LLM推理网络的最优模型激活策略

该论文提出「推理网络」（inference networks）框架，将多个LLM专家建模为有向图，节点为模型、边表示条件激活，以在给定性能约束下最小化推理成本。作者针对串联拓扑证明最优激活策略具有阈值结构：先调用最低成本模型，仅当置信度低于阈值时才调用更贵模型；判别任务每类一个阈值，生成任务仅一个阈值。实验在开源LLM的分类与生成基准上显示，在满足性能预算的

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

后训练量化在文本嵌入模型上的失效边界：四类嵌入器家族的实测图谱

该研究系统测试了仅权重量化（PTQ）在检索嵌入模型上的表现，覆盖四个架构家族的五个检查点，在多种位宽和分组大小下评估三个检索语料库。结果显示，INT4/g16 下模块级量化影响极小（最多约1个NDCG点），INT3 下模块敏感度排序因模型家族而异且成本不可加，INT2 下检索质量保留率从1.3%到65.9%不等，存在强烈的模型家族依赖的“低比特悬崖”。权重重

正文结构化主题已通过公开置信门槛
量子位观点

把记忆交给CPU，大模型会变快

量子位报道，随着Coding Agent等长任务普及，KV Cache占用显存导致并发下降、TTFT升高。英特尔提出以CPU侧管理、分层存储和QAT硬件压缩为核心的KV Cache优化方案，包括KV Shrink、KV Fuse、KV Cascade和KV Infinity四个方向。测试显示KV Shrink在80%缓存命中率下TTFT最高约5倍加速，QAT

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM 发布 v1.103.0-dev.1，含 cosign 镜像签名验证

LiteLLM 发布 v1.103.0-dev.1 开发版本，所有 Docker 镜像均使用 cosign 签名，并提供了基于固定 commit hash 和 release tag 两种验证方式。该版本包含大量修复与功能更新，涉及 responses、proxy、MCP、日志、Bedrock、Anthropic 适配器、路由、认证、定价等多个模块。

正文结构化主题已通过公开置信门槛
量子位研究

华为GTS推出NetCanvas，让Agent看着网络拓扑排障

华为GTS AI算法团队提出NetCanvas机制，通过「可交互视觉拓扑」为网络运维Agent提供外部工作记忆画布，解决纯文本Agent在复杂IP承载网排障中的「拓扑失忆」问题。在公开基准CTBench上，Agent综合通过率从30.3%提升至54.5%，双防火墙、ECMP等复杂子任务从约10%跃升至约90%，平均探查步数从159步降至113步，Token试

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10991：修复 hexagon 后端快速路径

llama.cpp 发布 b10991 版本，主要修复了 hexagon 后端缺失的 contiguous 快速路径，并为每次运行补回 hvx copy uu。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10990：hex-cpy 连续内存时改用 DMA

llama.cpp 发布 b10990 版本，主要变更为 hex-cpy 在源和目标内存连续时使用 DMA 进行拷贝（PR #28906）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog模型发布

Google 发布 Gemini 3.8 Live 语音模型，附浏览器试用 UI

Google 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking 两款语音到语音模型，形态类似 OpenAI 的 GPT-Live 系列。作者用 GPT-6 Astra Extra High 参考文档构建了一个网页 UI，可选择模型和语音预设、输入系统提示词，并通过浏览器进行可打断的语音对话。该实现不依赖任何库，直

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b10989：为 ROCm 启用 HIP AllReduce

llama.cpp 发布 b10989 版本，主要变更为在 HIP 后端为 ROCm 启用 AllReduce（PR #27825）。该版本同时提供 macOS、iOS、Linux、Android、Windows 及 openEuler 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新提升了

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Qwen3.8-27B 无审查模型发布六档 NVFP4 GGUF 量化版

Hugging Face 用户 esatapedico 发布了 DavidAU 的 Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored 模型的六个 GGUF 量化版本，采用 NVFP4（W4A16，FP8 缩放，组大小 16）格式，面向 Blackwell sm 120 架构。六个文件共享字节完

正文结构化主题已通过公开置信门槛
Google Research Blog一手来源研究

Google 提出 Retrieve-for-Train：用离线 RL 加速复杂 AI 搜索

Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train 框架，通过离线强化学习将奖励对齐的查询扇出行为编译为监督信号，再蒸馏进轻量扩散检索器，从而在推理时单次生成连贯、专家级的搜索结果集合。该方法在 Gemma3-4B 和 Qwen3-4B 上使用 Soft-GRPO 训练，并在时尚文本到图像与音乐文本到音乐

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b10988：OpenCL 按 batch size 选择 MoE expert matmul

llama.cpp 发布 b10988 版本，主要更新 OpenCL 后端：在投机解码/MTP 场景下根据 batch size 选择 MoE expert matmul 实现，并针对路由数量对预构建的 q4 0 MoE GEMM 进行门控，同时停止向填充的 MoE 激活槽写入零值。该改动由高通工程师参与贡献，旨在优化 MoE 模型在 OpenCL 设备上的

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Google 发布 Gemini 3.8 Live，以低价对标 OpenAI GPT-Live-1

Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking 两款面向开发者的音频模型，可通过 Gemini API 和 Google AI Studio 使用。Gemini 3.8 Live 支持语音代理在通话同时进行后台 API 调用和视觉输入处理，覆盖 97 种以上语言；Extended

正文结构化主题已通过公开置信门槛
智东西开源

无问芯穹联合清华上交开源具身端侧推理引擎APXInf

无问芯穹联合清华大学、上海交通大学正式开源具身端侧推理引擎APXInf，支持RTX 4090、Jetson Orin、Jetson Thor等主流计算平台。该引擎在Jetson Thor上将PI 0.5 FP8的端到端推理延迟从278ms降至26ms以内，达到46Hz推理频率，并采用Rust极简运行时与Python接口兼顾稳定性与易用性。APXInf作为RL

正文结构化主题已通过公开置信门槛
智东西产品发布

华为发布全球首个3D数据中心，机电交付缩至3个月

华为在AIDC产业发展大会上发布全球首个3D数据中心，将供冷、IT设备和供电系统分层部署，电池独立置于屋顶，机电系统预制化率超90%，机电交付周期由6个月缩短至3个月。华为云已在安徽、贵州和内蒙古三大枢纽布局3D数据中心，IT设备层部署昇腾950系列产品。华为还发行《3D数据中心》专著并开放概要设计图库，全球计算联盟联合数十家产业链伙伴发起共建新一代AIDC

正文结构化主题已通过公开置信门槛
Google ADK JavaScript Releases一手来源开源

Google ADK JS devtools 发布 v2.1.0：新增 Docker 沙箱代码执行

Google ADK JavaScript 的 devtools 发布 v2.1.0 版本。新增 ContainerCodeExecutor 支持 Docker 沙箱化代码执行，为 agent engine deploy 增加 --min instances/--max instances 参数，并为开发服务器加入 Origin 校验以防御 DNS 重绑定攻