播客：基于 llm-d、Wasm 与 TornadoVM 的 Kubernetes 分布式 LLM 推理
原标题：Podcast: Distributed LLM Inference on Kubernetes with llm-d, Wasm, & TornadoVM
AI 摘要
InfoQ 播客中，Red Hat 的 Edoardo Vacchi 介绍了 WebAssembly 在后端的发展、用 TornadoVM 在 GPU 上运行 Java 工作负载，以及基于 llm-d 和 vLLM 在 Kubernetes 上优化分布式 LLM 推理。llm-d 通过管理 KV 缓存与前缀缓存、请求路由和批推理来提升跨集群的 GPU 利用率。节目指出传统 K8s 负载均衡会破坏 LLM 效率，llm-d 在复用缓存上下文与防止节点过载之间做平衡。
正文节选
In this episode, Edoardo Vacchi discusses the evolving landscape of WebAssembly on the backend, running Java workloads on GPUs using TornadoVM, and optimizing distributed AI inference using llm-d and vLLM on Kubernetes. Edoardo explains how llm-d manages cache locality (KV and prefix caches), request routing, and batch inference across Kubernetes clusters to maximize expensive GPU utilization. Key Takeaways - Wasm has matured into a backend runtime for sandboxing, cross-language compilation, and