部署工程

技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3294 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

11月5日周四 · 20 条

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.IR一手来源研究

CAP-Mix：用软原型混合桥接硬语义ID与连续生成式检索

论文提出 CAP-Mix，一种连续生成式推荐方法，将每个物品表示为共享原型的软混合加上物品专属向量，并在推理时保留软表示。在三个数据集上，CAP-Mix 在稀疏 Amazon 数据集上优于扁平表，仅给定离线 SID 时 HR@5 比硬表提升 4.45%–14.90%，六个基准平均 HR@5 和 NDCG@5 分别提升 6.9% 和 13.6%，推理吞吐为离散

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

置信度门控分层LLM推理的可行性条件

该论文研究分层LLM推理中基于置信度信号的路由级联，将路由决策建模为二分类检验，并引入架构成本比κ（本地前向传播成本与升级成本之比），推导出一个闭式可行性条件：当该条件不满足时，任何阈值都无法使级联优于将所有查询发送到后端。作者指出，在本地计算需要计费时成本约束起主导作用，而在本地计算为沉没成本（如去中心化硬件）时可行性变为无条件，信号质量转而决定级联效果。

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CV一手来源研究

PEEK：扩散采样中一步预看曝光偏差校正

论文提出 PEEK，一种无需训练的确定性采样器插件，用于缓解扩散模型采样中的曝光偏差问题。PEEK 在每个去噪步骤先做一次临时单步更新，在预看状态上再评估一次去噪器，并将当前干净预测与一步后的预测插值形成下一噪声状态；通过贪心指标驱动的搜索优化插值调度，并借助前缀与噪声调度重基缓存提升效率。在 CIFAR-10、LSUN Bedroom、ImageNet 和

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

面向智能体AI系统的不确定性感知资源编排

该论文针对由大语言模型驱动的智能体（agentic AI）系统在调度时资源需求未知的问题，提出将计算、带宽和截止时间需求建模为概率机会约束，并给出形式化定义。作者提出在线算法CRO（Conformal Reservation for Orchestration），利用滑动窗口的历史执行轨迹和保形预测，在调度时给出具有有限样本、无分布假设覆盖保证的资源预留。仿

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CV一手来源研究

VAR-Q：面向视觉自回归生成的免调优KV缓存量化

该论文提出 VAR-Q，一种无需调优的 KV 缓存量化框架，用于视觉自回归图像与视频生成。作者分析发现，视觉自回归模型的 KV 缓存中不到 1% 的离群通道承载了主要功能，且这些离群值沿通道和块两个轴呈结构化分布，源于投影偏置与 RoPE 散射。VAR-Q 沿这两个轴分组量化，无需校准或重训练，在九个模型上将 KV 内存最多减少 78.5%，质量损失可忽略，

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

Agent Harness Awareness：将验证遥测转化为工具型智能体的操作控制

论文提出 Agent Harness Awareness 架构，让主机在执行关键动作前向模型提供经过验证的、带新鲜度标签的执行状态快照，以解决模型只看到静态工具描述而无法感知工具健康状态的“操作盲区”。在 216 次决策的消融实验中，GPT-5.6 Sol、Claude Sonnet 5 和 Gemini 3.7 Flash 在获得验证状态后，平均可观测策略