部署工程

技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3339 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

8月19日周三 · 19 条

15:55

正文结构化主题已通过公开置信门槛

雷峰网 AI科技评论研究

以GLM-5为例：九章智算云如何落地训推一致的强化学习系统

本文以GLM-5为例，探讨九章智算云如何通过强化学习系统实现训推一致。文章指出，随着预训练边际收益递减，模型能力Scaling正转向后训练强化学习，RL成为模型能力持续提升的关键。九章智算云通过将Generator、Environment和Trainer纳入统一工作流，实现动态调度和状态资源化，提升有效Token产出率，并与模型厂商形成算法与基础设施双向RL

12:43

正文结构化主题已通过公开置信门槛

LMDeploy Releases一手来源产品发布

LMDeploy v0.16.0 发布：支持新模型并优化性能

LMDeploy 发布 v0.16.0 版本，新增对 InternS2 Mobius、GLM-5.2 等模型的支持，并引入 MoE gate v2、CP attention 修复、TurboMind ViT 支持以及 FP8 优化等特性。同时改进了服务端 API 拆分、缓存报告和性能优化，并修复了多个 bug。该版本还升级至 CUDA 13.0，并扩展了 C

12:22

正文结构化主题已通过公开置信门槛

Hugging Face Daily Papers一手来源研究

FreeToken：带宽自适应执行的边缘原生 MoE 推理系统

FreeToken 是一个面向边缘设备的 MoE 推理服务系统，将个人电脑视为统一的弹性推理平台，动态地将计算和模型状态映射到异构本地硬件上。该系统支持超过 20 个 MoE 模型，能在 8GB 笔记本电脑 GPU 上运行 35B 模型，在游戏台式机上运行 284B 模型，在单工作站 GPU 上运行 753B 的 GLM-5.2 模型。FreeToken 通

12:02

正文结构化主题已通过公开置信门槛

LiteLLM Releases一手来源产品发布

LiteLLM v1.99.0-dev.1 发布：镜像签名验证与多项修复

LiteLLM 发布 v1.99.0-dev.1 版本，所有 Docker 镜像均使用 cosign 签名，并提供了通过提交哈希或发布标签验证签名的方法。该版本包含多项修复和功能更新，涉及代理、Bedrock 批量处理、Azure 内容安全、MCP 工具、UI 改进等。

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.LG一手来源研究

DumpsterCluster：用 60 美元 GPU 服务 LLaMA-70B 的二手硬件集群研究

本文介绍了一个名为 DumpsterCluster 的 128-GPU 集群，完全由二手组件构建，用于服务 LLaMA-70B 等现代 LLM 推理。该集群成本仅为 2.2 万美元，远低于 8-GPU B200 系统的 60 万美元，并通过流水线并行优化实现了有竞争力的吞吐量。然而，研究发现二手 GPU 的能效较低，总拥有成本仅在电价低廉的地区有利，且碳排放

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

思考的代价：推理努力作为模型特定API合同条款

该研究通过注册的配对对比实验，考察了Sonnet 5模型在显式高推理努力与省略该参数两种API合同下的成本与准确性差异。结果显示，显式高努力合同使每次调用成本平均增加0.01031美元，但未检测到准确性的显著差异。研究还发现，推理努力的省略语义在不同模型间甚至同一供应商内存在差异，强调了API合同条款对成本与结果的重要性。

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

机构特定LLM提示可恢复去标识化系统遗漏的PHI

贝勒医学院等机构的研究者在 arXiv 发表论文，评估了大型语言模型（LLM）在电子健康记录去标识化中识别机构特定受保护健康信息（PHI）的能力。研究对 100 份儿科肿瘤学笔记进行基准测试，发现 LLM（最佳 F1=0.918）优于专用系统（TiDE F1=0.779），且通过命名缺失类别和防止过度编辑的提示，可恢复 79% 的遗漏 PHI，并提升精确率。