NVIDIA 开源 Snapshot：GPU 工作负载秒级启动与恢复
原标题：Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot
AI 摘要
NVIDIA 发布开源组件 NVIDIA Snapshot，作为 DSX AI Factory 平台的一部分，为 Kubernetes 上的 GPU 工作负载提供检查点与恢复能力。它可将已初始化的推理工作负载（含 CPU 与 GPU 内存状态）保存为可移植产物，并在同型号 GPU 节点上秒级恢复，跳过权重加载、编译与图捕获等冷启动步骤。在 vLLM、SGLang 和 TensorRT LLM 上的测试显示，恢复时间在 3.6 至 42.7 秒之间，比冷启动快 8 至 36 倍；Crusoe 与 Saturn Cloud 等合作方也报告了启动时间从数分钟降至数十秒。
正文节选
NVIDIA Snapshot, a new open-source component of the NVIDIA DSX AI Factory Platform, makes initialized GPU workloads reusable across inference replicas—speeding startup and recovery. When inference demand spikes or a replica fails, available GPUs don’t translate immediately into serving capacity. Initializing an LLM workload—a process known as a cold start—can take minutes, delaying scaling and recovery. Snapshot is a checkpoint and restore system for GPU workloads on Kubernetes. It captures a fu