返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3314 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

9月28日周一 · 12 条
正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

HybridInfer：热感知强化学习三层LLM推理路由

研究者提出 HybridInfer，一个面向设备端、边缘和云端三层 LLM 推理的热感知强化学习路由器，使用手机热余量和查询复杂度作为状态，通过离线训练的 Q-learning 策略选择推理层级。在三星 Galaxy S25+ 上对 210 条提示的实测显示，该路由器在最低成本下质量显著优于两个手工调优启发式方法，而始终在设备端推理虽单查询质量有竞争力，但速

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

余弦相似度不是证据：量化下可解释性迁移的噪声底测量

该论文指出，在量化模型的可解释性迁移研究中，仅报告余弦相似度等尺度不变统计量而不提供其噪声底（noise floor）是不足以作为证据的。作者针对差值均值方向估计器推导出分割半信度噪声底的闭式解，该噪声底仅由一个无量纲数决定，并测量了真实激活上的类别分离度。在Qwen2.5-1.5B-Instruct上，INT4量化下拒绝方向发生旋转且偏移超过估计器自身噪声

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

LinkedIn 提出 ESP：动态多目标检索的嵌入子空间划分

LinkedIn 提出 Embedding Subspace Partitioning (ESP) 检索框架，将嵌入分解为任务感知子空间，用可在线调节权重的子空间相似度加权和替代单一内积，从而在服务时动态调整多目标权衡而无需重训练。该方法在 MS MARCO 基准上覆盖更宽的 Pareto 前沿，并已在 LinkedIn 求职匹配平台部署两年，服务超 700

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

CSCWD：面向边缘设备轻量微小目标检测的跨尺度通道知识蒸馏

该研究提出跨尺度通道知识蒸馏（CSCWD）训练框架，将高分辨率 YOLO11m-P2 教师的空间表征迁移到紧凑的 YOLO11n 学生模型，且不改变学生推理结构。在 Drone-vs-Bird 验证协议下，YOLO11n-CSCWD 达到 50.17% mAP@0.5 和 59.73% 召回率，较基线分别提升 2.92 和 3.55 个百分点；跨尺度对齐比同

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

中国两大AI云的同题异构：百度业务飞轮对决阿里供给飞轮

文章对比了百度与阿里云在2026年9月两场年度演讲中提出的AI云战略。百度沈抖主张以产业智能体落地驱动「芯—云—模—体」全栈飞轮，按业务价值（生产力经济学）计费；阿里吴泳铭则强调芯片、云、模型三大基石供给先行，按Token消耗（Token经济学）计费，并押注2032年前建成20GW数据中心。文章认为两家路线起点不同但共同推动AI产业化，胜负取决于谁的飞轮先转

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

Imagination E系列GPU首秀：AI超分2.3毫秒，Prefill提升4.7倍

Imagination Technologies 发布 GPU IP 最新 E 系列，将 AI 战略重心从专用 NPU 收回至通用 GPU，强化矩阵乘法、低精度计算与卷积能力。E 系列首次引入 MXFP8、MXFP4 等低精度格式，Prefill 性能较上一代提升 4.7 倍，卷积性能提升 4.4 倍，单核将画面从 540p 超分至 1080p 仅需 2.3

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源产品发布

NVIDIA DSX MaxLPS 提升 AI 工厂吞吐与能效

NVIDIA 发布技术博客，介绍 DSX MaxLPS 动态功耗共享方案，通过策略化分配在固定电力预算内提升 AI 工厂吞吐。NVIDIA 与 Nscale 在冰岛 Keflavík 数据中心使用 GB300 NVL72 系统、Kimi K2.5 FP4 等进行了联合评估，结果显示在相同 264.4 kW 电力预算下，GPU 数量从 140 增至 192（+

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11223：支持因果 LLM 重排序的 RANK pooling 批拆分

llama.cpp 发布 b11223 版本，主要修复了服务端对因果 LLM 重排序模型（如 Qwen3、Qwen3-VL）的 RANK pooling 批处理拆分问题。此前服务端会拒绝超过 n ubatch 的 RANK pooling 输入，且图构建器硬编码架构检查，导致长文档和多模态重排序失效。新版本通过暴露 llama get causal attn

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

CodeRankEmbed-flash-attn：bf16量化与三层注意力调度

该模型仓库发布了 nomic-ai/CodeRankEmbed 的 bf16 量化版本，权重未重新训练，仅将原始权重转为 bf16。其核心改动是在自定义 modeling hf nomic bert.py 中内置三层注意力调度：torch varlen、flash attn 和 eager，其中前两者用 O(N) 非填充路径替代原始 O(seq²) 注意力，

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Qwen3.8-27B 混合量化 GGUF：GSQ 与 Orca 去审查权重

作者发布了首个开源模型 Qwen3.8-27B-Abliterated-GSQ-Orca-GGUF，将 GSQ 的 IQ2 S 量化权重与 OrcaRouter 的 abliterated 权重通过选择性张量替换混合，保留 866 个张量中的 735 个，替换 131 个矩阵，面向 RTX 3060 12GB 等小显存本地推理。模型在 IFEval、GSM8

正文结构化主题已通过公开置信门槛
智东西研究

华为发布物理智能云边端协同架构报告

华为联合中国信通院、中科院沈阳自动化所、全球计算联盟、安永发布《物理智能云边端协同架构研究报告》，指出物理智能规模化的瓶颈在于端侧算力受限、云端时延过高、任务频率差异大，单点架构无法闭环。报告提出“三域协同·一网贯通”架构，通过应用、数据、算力三域协同及TSN、5G-A、星闪、工业以太总线融合组网，并规划近期、中期（2028—2030）、远期三阶段落地路径。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11221：string split 对无效值抛异常

llama.cpp 发布 b11221 版本，主要变更是让 common 模块中的 string split 在遇到无效值时抛出异常（PR #29518，由 Adrien Gallouët 提交）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、

9月27日周日 · 8 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11218：jinja 新增 dict 内置支持

llama.cpp 发布 b11218 版本，主要变更是为 jinja 模板引擎增加对 dict 内置对象的支持，并补充了相应测试。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11217：优化 OpenCL bin kernel 加载条件

llama.cpp 发布 b11217 版本，主要变更是优化了 OpenCL 后端 bin kernel 的加载条件（PR #29503）。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11216：SYCL 新增宽块 FWHT 内核

llama.cpp 发布 b11216 版本，为 SYCL 后端新增了针对块宽度大于 512 的 FWHT（快速沃尔什-哈达玛变换）内核。新内核 fwht kernel wide 采用每个工作组处理一行、蝶形运算分层走 shuffle/本地内存/寄存器的策略，将原本退化为 O(n^2) 稠密 GEMM 的 1024/2048/4096/8192 宽度改为 O

正文结构化主题已通过公开置信门槛
量子位模型发布

匿名模型玉兔 Space Bunny 登顶双榜，Coding 实测全记录

量子位记者在中秋假期对匿名模型 Space Bunny（玉兔模型）进行了 Coding 与多模态实测，该模型在 OpenRouter 和 OpenCode 双榜调用日榜登顶。测试涵盖 Three.js 天坛、Mac 闹钟、字幕 App 等任务，整体表现速度较快、首轮结果可用但需少量交互打磨。文章还汇总了社区对其速度与思考量的评价，并猜测其可能来自 OpenA

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11215：调优 CUDA fp16 FlashAttention 配置

llama.cpp 发布 b11215 版本，主要变更为针对 head size 40-112 的 CUDA fp16 tile FlashAttention 配置进行调优（PR #26289）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、R

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11214：CDNA 上为大批量启用 fattn-mma 内核

llama.cpp 发布 b11214 版本，主要变更是为 HIP 后端在 CDNA 架构上启用 fattn-mma 内核，支持 dkq 大于 256 的大批量场景，并在 CI 的 hip-quality-check 中忽略超大 mfma 内核的寄存器溢出。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台多后端（CUD

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Ornith-1.5-35B-A3B 的 ROCmFP4 量化版发布

用户 julianmb 在 Hugging Face 发布了 Ornith-1.5-35B-A3B 模型的 ROCmFP4 量化版本，面向 AMD Strix Halo（gfx1151）与 RDNA 3.5 GPU。该量化版文件 17.74 GiB，在 Ryzen AI Max+ 395 上配合 MTP 推测解码可达约 101 tok/s，比 Q4 K M

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11213 发布：修复 Adreno 的 Vulkan argsort 内核选择

llama.cpp 发布 b11213 版本，主要修复了 Vulkan 后端在 Adreno GPU 上 argsort 内核选择的问题（PR #29469）。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制，覆盖 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等后端。此次更新属于针对高通 Adre