把 816B 参数的 MoE 模型塞进两台桌面电脑,听起来像营销话术,但 Apple 这次拿出了技术细节。10 月 15 日,Apple Machine Learning Research 发布报告《Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio》(machinelearning.apple.com/research/mlx-distributed-inference),说明如何用 Thunderbolt 5 RDMA 把 Meta 同期开源的 Muse Spark Open 切成张量并行,跑在两台 M5 Ultra Mac Studio 上。
一份被点名的实测报告
报告给出 benchmark 命令:NVFP4 量化的 Muse Spark Open,prompt=8192、生成=128、batch=1,通过 mlx.launch 跑 mlx_lm.benchmark。四台 M5 Ultra Mac Studio 通过 Thunderbolt Mesh 两两直连,生成速度超 36 tok/s;相比 M3 Ultra,首 token 时间(TTFT)提速最高 4.6 倍。
核心是 Apple 的开源数组框架 MLX。Mac Studio 统一内存让单台最多可用 512 GB,两台就是 1 TB,刚好装下 NVFP4 量化后的 816B 模型(每 token 激活 42B)。M5 Ultra 的 1.2 TB/s 内存带宽足以支撑单 token 张量分片读取。
RDMA over Thunderbolt 是关键一步
传统分布式推理要么走 InfiniBand(贵、数据中心专属),要么走以太网(延迟高)。Apple 把消费级 Thunderbolt 5 的点对点能力做成 RDMA,本机线直连,延迟和带宽介于消费网和数据中心之间。Mac Studio 多口即插即用,两台机器变成「一台带 1 TB 统一内存的超算」。报告说这套架构不挑模型,是通用的消费级分布式推理底座。
Meta 为什么陪 Apple 站台
Muse Spark Open 的卖点是 agentic coding 和长上下文。Meta 演示了 Muse Code 修改开源 iOS 应用 Ice Cubes、自动修 Bug、跑通完整构建,以及在 DaVinci Resolve 里做视频剪辑——AI 一帧一帧审素材、自动找最强镜头并竖裁。
把整套管线搬上桌面,意味着开发者能在不连云的情况下跑出可商用的 agent 工作流。对 Meta 而言,这是给开源 816B 模型补了「本地能跑」的体验拼图;对 Apple 而言,这是把 M5 Ultra 统一内存的卖点从「跑 27B」拉到「跑 816B」。
这条路通向哪里
桌面级分布式推理不是新想法,但消费级硬件能做到 36 tok/s 跑 816B,门槛确实往下拉了一大截。报告说明 MLX 目标覆盖「27B 到 800B」本地推理全谱系。短期看,Mac 工作站用户不用租 GPU 也能跑前沿模型;中期看,如果 RDMA over Thunderbolt 被更多模型官方适配,本地化 agent 工作流可能成为开发者社区的新常态。这份报告真正的读者不是普通消费者,而是 Meta、Mistral、Qwen 这些开源模型团队的工程负责人——它在告诉他们:这堆权重怎么跑起来,我们已经铺好路了。