美团 SLM 高并发推理引擎：延迟约束下吞吐较 SGLang 提升 10 倍
原标题：SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化
AI 摘要
美团技术团队针对搜索推荐场景中 SLM（0.5~1B）在线推理的极低延迟约束，提出以静态 DAG 组织完整业务请求的推理框架，将 Prefill-Only 和固定次数 Beam Search 定义为「有界生成负载」，并结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享和选择性 FP8 压缩调度与计算开销。在平均端到端时延低于 20ms 的约束下，Prefill-Only 有效 MFU 达 67%，吞吐较 SGLang 提升约 10 倍，Beam Search 提升约 6 倍。该框架已在美团搜索意图分流、相关性判断、生成式召回等场景取得实验显著性，支撑 SLM 全量推送。
正文节选
SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化 搜索和推荐场景中想要使用语言模型提高在线效果，往往面临着在线极低延迟的约束，现有通用大模型推理引擎并非在这一延迟约束下设计，因此本文从「具有确定 decode 次数上界的请求」这一工作负载出发，重新设计在线执行路径：以静态 DAG 组织完整业务请求，结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享及选择性 FP8，系统性压缩调度与计算开销。在平均端到端时延低于 20ms 的约束下，Prefill-only 有效 MFU 达到 67%，吞吐较 SGLang 提升 10 倍，为 SLM 在搜推场景的大规模落地提供了一套高性能、可复用的工程实践。 搜推场景下业界逐渐使用 SLM（Small Language Model， 小参数量语言模型0.5~1B），用于意图理解，相关性判断，生成式推荐等任务，这些模型保留 Decoder-only Transformer 和 Next-Token Prediction 的基本结构，但在线执行形态与开放式文本生成存在明显差异： - Prefill-Only 模式：