GPU kernel 这活,过去是性能专家的手艺。大模型训练和推理的效率,往往就卡在少数几个关键算子上,谁来写、怎么调,直接决定集群烧钱的速率。而这一年的标准姿势,是给 AI 配全套装备:领域知识库、评估基准、搜索工作流,堆出各种 kernel 专用 agent。10 月 27 日提交到 arXiv 的论文 JustGoal 反过来问了一句扎心的:模型本身已经这么强了,这些装备到底还值多少钱?
论文开篇把现状摆得很清楚:高性能 kernel 的产出路径,无非专家手写、工程师与通用模型结对、或者上带领域知识和搜索工作流的专用 agent。第三条路这两年最热闹,JustGoal 偏偏拿它开刀。
实验设计:把装备全部拿走
论文的做法非常克制。所谓 goal-only baseline(只给目标的基线):交给通用 agent 的只有优化目标和约束条件——算子要算什么、输入输出形状、要在什么硬件上跑多快——其余全部没收。没有 kernel 专属基础设施,没有知识库,没有预定义工作流。agent 拿到目标后自己搭评估循环:写 kernel、测性能、找瓶颈、改代码,循环往复直到达标。
这等于把所有专用系统的对照组拉到了台面上:如果裸的通用 agent 加自建循环就能逼近甚至超过专用系统,那专用系统论文里的复杂设计就需要重新解释。
B200 上的成绩单
论文报告的数字相当扎实(arXiv:2610.36434)。在 NVIDIA B200 GPU 上,JustGoal 对阵开源 kernel 库,10 个算子赢了 8 个,逐算子几何平均加速 1.14 到 2.34 倍;对上公开释放的最快专用 agent kernel,9 个可比算子里赢了 5 个。更关键的是同模型对照:同样用 Fable 5.1、只测单形状时,带全套专用机制的 KDA-0.5 harness 只跑到 JustGoal 的 0.95 倍。消融实验同样干脆:单独加领域知识、单独加预定义工作流,都没有带来一致收益。
真正值钱的是那句方法论
比数字更有价值的是论文的结论:任何专用机制,都必须先证明自己对"同模型、同范围、只给目标"的基线有明确增益,而且基座模型一升级就得重测一遍。
这等于给整个"agent + 领域知识"的研究范式立了新规矩。过去两年,大量论文的贡献叙事是"我们给大模型加了某领域知识库和搜索策略,效果提升若干",但很少有人回答:这些增益里有多少来自脚手架,又有多少只是模型自己变强顺手带走的?JustGoal 把这个对照面补上了。顺着这个逻辑推下去,专用 harness 的护城河是有保质期的——每一次基座升级,都是一次重新排队。
对工程团队的启示同样直接:在投入自建 agent 工作流之前,先花一天写个 goal-only baseline 跑一遍。如果你的专用系统跑不赢裸 agent,问题多半不在模型,在脚手架。
所以呢——不妨盘点一下你手头的工作流:哪些是真护城河,哪些只是基座暂时不会做题的补丁?后者越多,下一次模型升级时,你要重写的就越多。