Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地及分布式大模型推理
原标题：Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
AI 摘要
Apple ML Research 发布博客，介绍在 Mac Studio 上使用最新版 MLX 框架进行本地与分布式大模型推理。单机可运行 Qwen 3.8（27B）和 Mistral Medium 3.5（128B），四台 Mac Studio 集群通过 Thunderbolt 5 上的 RDMA 驱动和 MLX 的 jaccl 通信原语，以流水线并行方式运行近万亿参数的 MoE 模型 Muse Spark Open，生成速度超过 36 tokens/s。M5 Ultra 相比 M3 Ultra 在 TTFT 上最高快 4.6 倍，生成速度提升 1.6 倍，峰值功耗约 300W。
正文节选
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio MLX on Mac with Apple silicon lets AI researchers and developers experiment locally with the latest models and methods in a private environment. The open-source array framework leverages the unified memory architecture of Apple silicon, enabling anyone to run new inference and fine-tuning methods on their own hardware and explore other AI techniques. In a previous post, we highlighted the advantages of the M5 architecture