谷歌 2026 年披露,公司新代码里已有 75% 由 AI 生成;微软 2025 年的数字是 20% 到 30%。这些代码「能不能跑对」一直有基准盯着,但「跑得快不快、吃多少内存、耗多少电」,长期没人系统地量。纽约大学阿布扎比校区等机构 11 月 13 日挂上 arXiv 的预印本 PerfArena(尚未同行评审)把这笔账摆上了台面:让 13 个前沿模型用 7 种编程语言做同样的题,再对 9455 份通过正确性检查的代码逐份实测延迟、峰值内存和能耗。

通过率之外,还有三笔账

论文的出发点很直接:现有代码基准从 HumanEval 到 LiveCodeBench 一路,基本只数通过率;少数性能向基准要么只测一两项指标,要么语言覆盖窄,能耗更是很少进榜。作者团队此前的研究已经把问题量化过:大模型生成的安卓应用里,性能反模式的密度约为人写代码的 10 倍,他们把这个自我强化的循环叫作「performance loop of hell」——模型学自不太在乎性能的人类代码,又成批复制这种低效。

一个照搬竞技场玩法的跑分场

PerfArena 把评测组织成两套比赛:CLBGComp 取计算机语言基准游戏里 10 道计算密集型老题;LeetCodeComp 精选 99 道「已通过解之间存在可测延迟差」的力扣题。13 个模型——OpenAI 五个、Anthropic 四个,外加 Gemini、DeepSeek、Grok、GLM 各一个——在 C++、C#、Java、JavaScript、PHP、Python、TypeScript 七种语言下用同一提示模板作答,所有解在 Unix 主机上按同一协议执行,能耗直接读 Intel RAPL 硬件计数器。排名机制学 Chatbot Arena:同一道题同一语言、两个模型都解出的格子算一场对决,数值低者胜,落在测量噪声内的平局各得半分。目前库里存了 9455 份正确且测完的解。论文顺带给出成本参考:跑完一轮 LeetCodeComp 平均 8.11 美元、22 小时;单模型最贵一轮 19.56 美元,最便宜 0.56 美元。

榜单:一家独大,两个注脚

结果并不平均。12 个模型都能通过九成以上的 LeetCode 题,通过率早已挤在一起,拉开差距的是性能:gpt-6-astra 在两套比赛分别通过 99.7% 与 100% 的题,延迟、能耗、峰值内存三项上没有被任何模型显著超过的,只有它一个;其余模型的正确解平均慢 1.1 到 1.6 倍(LeetCode 赛场)与 1.2 到 3.6 倍(CLBG 赛场)。注脚有二:LeetCode 的 Python 与 PHP 两个语言单项,延迟第一是 claude-opus-5-5;CLBG 赛场上 glm-5.3-flash 与 gemini-3.8-flash 和 gpt-6-astra 同处帕累托第一梯队——但论文自己注明,glm-5.3-flash 只解出 22/70 个格子,样本太少,统计上分不开。

贵,买不来快

价格与性能的关系更有意思。按 token 单价,gpt-6-astra 每百万 5/25 美元,并不便宜(claude-fable-5-1 的 10/50 最贵,gpt-5.6-luna 的 0.2/1.2 最便宜)。但换算成「每份正确解的成本」,gpt-6-astra 每份解只输出 321 个 token(LeetCode 赛场),成本不到两个最贵模型的一半,代码还更快;按每份正确解算,最贵的模型在两个赛场分别烧掉 gpt-6-astra 的 2.6 倍与 9.3 倍,代码却没有更快。论文的结论写得很直白:除了 CLBG 赛场要避开最便宜的那一档(四个最便宜的模型恰好生成最慢的代码),多付钱买不来更快的代码。

能耗,基本是延迟的影子

能耗指标容易被神化,这篇论文反而泼了冷水:90% 的解,平均功率都挤在 13.1 到 16.0 瓦之间,能耗排名与延迟排名的相关系数高达 0.91 与 0.97——能耗大抵就是延迟乘以一个几乎恒定的功率。作者仍坚持三项指标分开报告,理由是任务与语言层面会出现分歧。读这份榜单也要记住限定:全部测量在一台 2 核 i7-7600U 的安静主机上完成;CLBG 只有 10 道题,论文承认统计功效不足;线上榜单只允许官方写入,第三方要自己部署开源代码另建。

所以,下次选代码模型,通过率只是入场券,真正拉开差距的是目标语言的单项榜和每份正确解的成本。排行榜开在 perfarena.net,代码在 GitHub 开源。反过来问一句:如果你选型时连「生成的代码跑得快不快」都不看,这笔隐形的算力账单,打算什么时候算?