本周,开源项目 Memdoor 在 GitHub 上公开了一组对照结果:五个 Qwen3.8-27B 实例组成的「小队」,在 LiveCodeBench Hard 的前十道题上五轮平均解出 9.8 题;而 Claude Fable 5 单模型一次性作答,成绩是 8.0。27B 的开放权重模型,靠编排追上了前沿闭源单模型——至少在这十道题上。
复现别人的测试,还高 0.2 分
这组数字的特殊之处在于它不是自吹自擂的跑分。Memdoor 复现的是 Lee(2026)提出的 GVS5H 方法:用原作者一模一样的提示词和循环,跑原作者题目清单的前十题,每题五轮。重建出的 harness 平均 9.8 分,略高于原作者自己 harness 的 9.6,明显高于 Fable 5 单次调用的 8.0。作为参照,GVS5H 作者在完整 100 题上测得 92.4 对 90.4——差距随规模缩小,但方向没有反转。全部 50 次运行都随仓库公开:每一次请求、回复、程序和评分器输出都可以逐条检查。
五个角色,零共享上下文
team-solve 工作流的机制比分数更值得看。五个 Qwen3.8-27B 实例分别扮演规划者、两个并行的构思者、求解者和管理者,外加一个修复工人。每个角色都从全新上下文冷启动,彼此之间唯一的通信渠道是磁盘上的文件:规划者写计划文件,求解者写 solution.py,管理者读测试日志,修复工人打补丁。成败由一个跑样例的 shell 脚本判定,而不是模型自评——模型没有机会说「我觉得对了」。
35.79 美元、1530 万 token 与一句污染声明
成本也摆得上台面:五十次运行共花 35.79 美元、消耗 1530 万输出 token,中位数一次 40 分钟、0.39 美元(Qwen3.8-27B,128K 回复上限)。作者同时把丑话说在前面:题目来自 2025 年 3 月 29 日至 4 月 6 日的比赛,模型可能在训练中见过,「污染无法排除」。工作流本身用 YAML 编写、不绑定任何模型——指向 API 模型可以,用 Ollama、llama.cpp、vLLM 或 LM Studio 跑本地开放权重也可以,不需要任何 API key。
编排换能力,这笔账怎么算
我的看法:这不是「27B 干翻前沿模型」的胜利宣言,而是「编排 vs 单模型」争论里又一个干净的数据点。拉长到完整 100 题,92.4 对 90.4 说明前沿模型并没有被真正甩开;40 分钟一题的中位耗时,也提醒多智能体方案的时间成本常被忽略。真正有价值的是方法论纪律:冷启动加文件通信,天然杜绝了 agent 之间的上下文互污和集体跑偏;全量公开的 50 次运行,把「跑分可复现」从口号变成了可审计的工程。做 Agent 工程的团队,值得把 team-solve 示例 和 Memdoor 仓库 当参考实现通读一遍。下一个问题几乎自己跳出来:同样的纪律,换 14B 甚至 7B 的模型,还能守住几分?