部署工程

技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 1721 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

8月28日周五 · 16 条

12:49

正文结构化主题已通过公开置信门槛

LiteLLM Releases一手来源产品发布

LiteLLM v1.100.0-dev.2 发布：镜像签名验证与多项修复

LiteLLM 发布了 v1.100.0-dev.2 版本，该版本的所有 Docker 镜像均使用 cosign 签名，并提供了通过提交哈希或发布标签进行验证的方法。此版本包含多项修复和改进，涉及 UI 重构、Prometheus 指标、OpenTelemetry 错误映射、代理流式响应加密、模型价格更新、Azure 实时认证、Bedrock 推理参数映射、

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

EduRiskX：结合F-Logic推理的神经符号框架用于早期学业风险预测

EduRiskX 是一个神经符号框架，结合了时间 Transformer 预测器与 F-Logic 符号推理，用于在线教育中的早期学业风险预测。在 OULAD 数据集上，它实现了 0.900 的准确率和 0.894 的 F1 分数，平均早期检测周为 9.32，检测率为 94.30%。该框架通过 F-Logic 模块提供基于规则的解释，增强了可解释性，并优于

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

通过采样引导和扩展LLM的配方

本文提出了一种通过采样来引导和扩展自回归大语言模型（LLM）的灵活且理论基础的框架，涵盖两种算法：基于序贯蒙特卡洛（SMC）和副本交换（RE）的方法，用于从幂化、乘积或倾斜的基础分布中采样。实验表明，这些方法在数学推理任务上无需外部监督或奖励模型即可提升生成质量，且扩展性优于Best-of-N和标准MCMC基线。该框架为LLM的概率推断提供了系统化的采样方案

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

TreeGraft：基于树形投机解码的自适应多草稿模型嫁接方法

TreeGraft 提出了一种多草稿模型框架，通过将不同成本的草稿模型（小型和中等）联合构建共享草稿树，以提升树形投机解码的效率。该方法利用较强模型对较弱模型的候选进行重打分、重新选择嫁接位置并恢复被忽略的路径，同时引入轻量级调度器控制调用强模型的时机。在10个模型对和6个基准测试中，TreeGraft 相比最优的单草稿模型策略平均提升15.1%，最高达26

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.MA一手来源研究

MoRe：单智能体多角色混合实现多视角协同

arXiv 论文提出 Mixture of Roles (MoRe) 方法，通过可学习码本和查询感知路由器，将多个角色组合成单一 steering vector，在单智能体单次推理中实现多视角专业化。实验显示 MoRe 平均比单智能体基线高 2.2%，性能与多智能体系统相当，但显著降低 token 成本。该方法通过三阶段 SFT 和 GRPO 训练，且保持骨

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

LLM智能体轨迹中的成本-效用对齐：剖析、归因、诊断、适应与评估

本文提出一个面向LLM智能体轨迹的成本-效用对齐框架，包含成本剖析、效用归因、错位诊断、定向适应和评估五个阶段，将资源消耗与任务贡献视为同一执行过程的双重账本。效用归因通过过程代理、信息依赖和反事实重放等方法提供因果证据，以指导诊断和适应。该框架为资源感知的智能体设计与部署提供了结构化基础，并分析了近期系统、归因方法和评估协议。