XPerf：面向代理式 AI 工作负载的 LLM 服务系统基准测试框架
原标题：Benchmarking LLM Serving Systems for Agentic AI Workloads with XPerf
AI 摘要
XPerf 是一个用于对 LLM 服务系统进行代理式 AI 工作负载基准测试的框架，它通过细粒度轨迹重放来确保可复现性，并提供系统和硬件性能的详细剖析。该框架默认包含八个代理应用，支持从真实应用中收集轨迹、合成新工作负载，并可在不同服务系统上重放。实证研究表明，XPerf 能准确重放代理工作负载，帮助识别性能瓶颈，并辅助系统调试。XPerf 将在 GitHub 上开源。
正文节选
Benchmarking LLM Serving Systems for Agentic AI Workloads with XPerf Abstract. We present XPerf, a benchmarking framework that load-tests LLM serving systems with diverse agentic AI workloads. It provides detailed profiling of the serving system and hardware, enabling users to identify performance bottlenecks introduced by agentic workloads. Benchmarking LLM serving systems under agentic workloads is challenging – agentic applications rely on nondeterministic LLM outputs to guide their control