让大模型去写 Metal kernel,光有模型不够,还得有一整套能反复编译、跑、改、再拿 GPU 时间戳当反馈的执行环境。
端侧推理的逻辑很直接:推理要跑在本地加速器上,Apple Silicon 上的 Metal 是绕不开的通路;想让模型学会写 Metal kernel,就得让它在自己的机器上真的把 kernel 编译出来、跑起来、看到性能数字。这天然需要多个 agent 会话并发。
然后问题就来了。论文用 Apple Instruments 的 Metal System Trace 量了一次 metal_nbody 会话(单 agent、无竞争):31.6 分钟里 GPU 真正在跑的只有 44.0 秒,占 2.32%。其余时间,agent 在等命令、在改代码、在推理。
更麻烦的是,并发会话并不会自动把 GPU 填满。16 个会话摊在 4 台 Mac 上时,一个平均会话 45.1 分钟里有 21.0 分钟耗在工具等待上;最忙那台 Mac 上的会话平均等 32.7 分钟,最闲那台只要 13.3 分钟。集群内部本身就压不匀。
调度粒度下沉到单条命令
Metal Sandbox(arXiv:2611.17294,上海交大、北京中关村学院与阶跃星辰)把调度的粒度从「一个会话」降到「一条命令」。每个 agent 拿到独立的沙箱实例、专属工作区和私有 HOME,命令跑在 Apple 的 App Sandbox 进程里;按白名单匹配的(文件查看、编译、构建)并行执行,其余进每台机器唯一的串行 FIFO 槽位。
真正的巧思是跨机迁移:排队等槽位的串行命令,如果目标机器有空位,就通过预留—认领—提交三步搬到别的 Mac 上跑,结果再送回原 agent。为此每个实例的 workspace 和 HOME 必须在各节点挂在同一绝对路径上(共享 SMB 挂载),控制器走 SSH 调各节点的 CLI。
两个数字
受控实验用四台 Mac mini M4(每台 32 GiB 内存、macOS 27.0.1,千兆交换机互联),跑六个手写 Metal kernel。均衡提交时,一台机器 25.2 秒的批次在四台静态并行下是 6.62 秒,动态调度 6.61 秒——这部分提升来自并行,不是迁移。真正拉开差距的是集中提交:静态 25.3 秒降到 15.1 秒,降幅 40.4%,吞吐 1.68 倍;批次内队列 p95 从 21.9 秒压到 11.9 秒,降 45.5%。命令拉长到六秒循环时更好,36.8 秒降到 18.0 秒,吞吐 2.05 倍,每小时 588 条对 1,200 条。
真实 agent 轨迹的回放则是另一组数。16 个 mini-SWE-agent 会话(mini-SWE-agent 2.4.6,模型是 Step 5 Preview,每个 agent 3,600 秒预算、单条工具 600 秒),实测整批 67.6 分钟、平均工具等待 21.0 分钟,其中 114 条并行命令、1,165 条串行命令。把这些已测轨迹按动态调度回放,平均等待降到 17.1 分钟(-18.8%),整批 52.5 分钟(-22.3%),主回放共完成 276 次命令迁移。
这笔账没那么干净
三点得说清楚。
第一,迁移不便宜。27 次显式迁移测下来,查单加预留的中位数就要 0.818 秒,认领 0.97 毫秒、提交 3.89 毫秒,整条路径在零负载时中位数 1.86 秒,带 16 MiB 读取升到 2.16 秒。所以短命令迁移是亏的,收益主要来自长命令。
第二,这是再分配,不是凭空多出算力。回放里 16 条轨迹,8 条等待变少、8 条变多;最忙的 Mac mini #A 从 32.7 分钟降到 15.8 分钟,#C 和 #D 反而变差。论文自己说明,回放固定了模型行为和各阶段时长,无法预测工具反馈变化带来的行为差异。敏感性扫描覆盖 166 组参数后,平均等待降幅落在 6.78% 到 20.4% 之间、整批耗时降幅落在 15.6% 到 27.8% 之间——18.8% 和 22.3% 只是区间中段的一个点。
第三,这套设计本身破了测量的前提。仓库 README 写明没有 GPU 分区或独占保证,其它应用和并行任务都可能干扰计时,文件访问限制不覆盖全部应用启动路径,且只面向可信本地开发,未解决的 LaunchServices 逃逸风险仍在。对一个专门用来量 kernel 性能的系统来说,这意味着数字要打折看。
还得交代一句出处:这是一篇 2026 年 11 月 12 日挂上 arXiv 的预印本,16 页、7 图、5 表,页面没有标注会议或期刊接收,读者要按预印本对待。
另外,Docker 的 GPU 直通在 macOS 上根本没有正路——Docker 官方文档写明 GPU passthrough 只在 Windows 配 WSL 2 后端可用。这也是为什么这篇论文不走容器路线,而是回到 macOS 原生的 App Sandbox。
机制层不是孤证
「Metal kernel 上要让模型反复试错、需要专门的执行环境」不是这一篇的独家发现。Metal-Sci(arXiv:2605.09708,ICML 2026 DL4C workshop)用 10 个科学计算任务驱动 LLM 做进化式 kernel 搜索,在 M1 Pro 上自加速从 1.00 倍到 10.7 倍;它报告的一个案例很说明问题:GPT 的 FFT3D 最佳解在分布内拿到 2.95 倍加速,换到留出的 256 立方体网格上塌到 0.23 倍——分布内分数看不见这种静默回归。Dr. Kernel 那条线(arXiv:2602.05885)从 RL 侧补了同样的需求,它专门做了一个分布式 GPU 环境 KernelGYM 来收多轮交互数据。
这套东西与其 Harbor 集成已经开源在 github.com/WangHaoZhe/metal-sandbox 和 github.com/WangHaoZhe/harbor。
所以呢
这篇的价值不在刷新跑分,而在于指认了一个容易被忽略的位置:端侧推理要 Metal kernel,训练模型写 Metal kernel 要多路 agent,agent 的 GPU 占用只有百分之二点几——真正的瓶颈常常不在算力够不够,而在排队和调度怎么写。
如果你正在搭端侧模型的训练或评测环境,两个判断值得直接抄:一是把并行还是串行的判定下沉到单条命令,而不是整个会话;二是集群内部队列不均衡时,让等待中的任务能跨机器走一趟。同时别忘了它自己承认的三条限制:迁移有固定开销,收益本质是再分配,而且这套环境并不保证 GPU 独占——拿它量出来的性能数字,得自己再核一遍。