一个开源方法在 Hacker News 上刷了屏。论文的评测说:把五个 Qwen3.8-27B 实例放进同一套共享文件账本里分工协作,就能在 LiveCodeBench 最难的 100 道题上把通过率从 66.8% 顶到 92.4%,超过闭源旗舰 Claude Fable 5 单次调用的 90.4%。一个月后,一位独立开发者用一套完全不同的工具重建了它,50 次运行里每一次的请求、回复、代码和花费全部公开,结论比原论文保守得多:打平,不是超越。论文原文
那套方法到底做了什么
论文的叫法是账本式零样本自编排,简称 GVS5H,作者解释成 Gorilla vs. 5 Humans。不训练任何编排器,每个角色都是同一个模型的一次全新调用,彼此不直接对话,只通过磁盘上的几个文件交换信息。题目写在 task.md,管理者把三到六句策略写进 plan.md,想法和中间结论写进 notes.md,当前解法是 solution.py。管理者每轮只派发一个任务,worker 干完重写这两个文件,再由一段跑公开样例的脚本判定成败。循环最多 10 轮,计划文件截到 4,000 字符,笔记截到 8,000 字符。
评测用 LiveCodeBench release_v6 里按比赛日期最新的 100 道 hard 题,分数经修正后的评分器计算。论文自报的结果是:Qwen3.8-27B 单次 66.8%,加管理者后 92.4%,涨了 25.6 个百分点;Qwen3.8-Flash-Next 从 84.2% 到 93.0%,花的钱只要 Fable 5 的 9%;DeepSeek-V4.1-Flash 从 88.4% 到 92.0%;GPT-5.6-Terra 从 80.8% 到 88.0%,GPT-5.6-Luna 从 70.4% 到 81.2%。主条件是六个模型各跑五遍,其中五个有单次与编排两臂,Fable 5 只跑了单次;另有五个模型走 OpenRouter 网关,只跑一遍。
复现者跑出了什么
10 月 31 日,Memdoor 的作者用自己写的另一套工作流引擎重建了这套方法:同一个 Qwen3.8-27B、同一批提示词、同样 128K 上限、同样十轮,连发给模型的每条消息都逐字节对齐,他为此写了个对拍脚本。测的是作者的前 10 道题,跑五轮。
结果:复现工作流均分 9.8,作者脚手架 9.6,Fable 5 单次 8.0。50 次运行解出 49 次,输出 15.3M token,共花 35.79 美元;加上被时钟掐断或被叫停的那 16 次,是 38.77 美元。单次运行中位 40 分钟模型时间,最长一次四小时,全部跑在 OpenRouter 上。复现仓库
论文承认的三件事
第一,收益不普适。论文写得很直白:管理者不是免费的,它的权衡可能落在比单次调用更差的答案上。Qwen3.6-35B 在关推理的条件下两头都是负的——它的构思阶段认出了和单次调用相同的那个正确优化,又自己说服自己那太容易出错,转去实现一个渐近更慢的方案,worker 还带了个 bug。那道 LCB 3765 题目的完整故事是:紧凑而正确的代码,被分解这件事搅乱了。
第二,Fable 5 只跑了单次调用,因为太贵,它如果也配管理者能涨多少,论文说不知道。另外它 500 次里有 6 次直接拒答,论文按失败计分,没有偷偷换成替补模型。
第三,账单要翻三倍。论文自己的成本表:Qwen3.8-27B 单次跑一题 18.95 美元、每解出一题 0.28 美元;加上管理者变成 47.82 美元和 0.52 美元。Fable 5 单次是 61.11 美元。结论里那句编排常常是模型规模的廉价替代品,是带着这个前提说的。
复现者写的四条免责声明
复现者比论文更谨慎,四条全写在仓库 README 里:测的是 10 题不是 100 题,样本这么小,9.8 和 9.6 其实是同一个数字,能说的只是和作者的脚手架打平;这些比赛是 2025 年 3 月 29 日到 4 月 6 日的,模型可能见过,污染排不掉;Fable 5 那一列来自作者仓库里的结果文件,没有在这个框架里跑过;循环只看得到公开样例,分数靠隐藏测试。
最后一条,恰恰是 Hacker News 讨论里被追问最多的地方之一:拿编过排的 Qwen 去比没编排的 Fable 5。同一场讨论里还有人指出,LiveCodeBench 的题目横跨 2023 年 5 月到 2025 年 4 月,污染几乎难以避免。
复现过程踩到的坑也记着。第一版自己给每道题写任务文件,27B 按它的计划做得更差;换成作者原始题面才对齐。托管方也不一样:作者用自建 vLLM 跑 FP8,复现走 OpenRouter 轮询 Modal、CoreWeave、Wafer,203 次调用落在 Modal,三次运行中途换了主机。复现工作流本身也不是人手写的,是 Memdoor 里的 coder agent 照着方法描述自己生成的八个 YAML 文件,不指定模型。
这套方法真正值钱的地方
不是 27B 打败了旗舰。论文的机制分析给了个更实在的解释:状态存在磁盘上,token 上限就截不断它。Qwen3.8-27B 有八次单次调用在推理中彻底失控,烧完 250k token 的预算一个字代码都没吐出来,有一次在 abc399_e 上把同一句话重复了 7,743 次。而单次调用的 35 个空白格里,管理者解回 28 个、失败 7 个,值 5.6 分。把每次调用切碎、让中间结论落盘,是在跟推理失控这个失效模式硬碰。
还有一条更要紧:这套配方是纯提示词、纯文件、可移植。复现者能在完全不同的引擎上把它跑通,恰恰说明它不是某个框架的专利。
所以呢
如果编排已经是一条独立于模型的工程轴,那要不要换成更大的模型就不再是唯一问题,同一批预算可以先拿去改工作流。但这条轴有边界:Qwen3.6-35B 那种负收益是真的,账单翻三倍是真的,而两者都只在一道编程竞赛基准上试过,数学和知识类基准因接近满分被放弃。
下次再看到小模型组队追平旗舰这种标题,先问两句:编排的钱算进去了吗?评测之外的那部分工作,也是这样编排的吗?