10 月 31 日,长期用 Factorio 折磨各家模型的独立测试者 Ryan Madden 给出新样本:OpenAI 的 GPT-5.6 Sol 在 Codex 环境里、以「低思考档」配置,把和平模式(无虫群攻击)打通关——13.5 小时游戏时间后,火箭升空。这局真正值得看的不是通关本身,而是它后半程的赢法:不靠规划,靠搬砖。
不是「看」游戏,是写代码操作游戏
Madden 的测试框架由一个 game manager 加一个小型函数库组成,这一轮用 Python 实现(此前让 Claude Code 玩时用的是 Bash)。模型以写程序的方式操作游戏,但库会强制执行与人类 GUI 玩家完全相同的限制:玩家的触达范围、战争迷雾。模型不能全图透视、不能隔空建设,必须在和人一样的信息与操作约束里做决策。叠加「低思考档」的推理预算,这个结果并不水——他此前还专门做过 Faketorio 测试床,这条路线已经打磨了很久。
从「不会用传送带」到撑到后期
对照组是上一代:GPT-5.5 的尝试败在完全不会用传送带——而传送带正是 Factorio 物流的地基。GPT-5.6 Sol 不仅用上了传送带,还在蓝科技阶段表现出超出 Madden 预期的效率:他原本计划跑到蓝科技就终止,实测后决定放行到底。运行管理器全程记录生产统计,各科研里程碑对应的产量曲线都有留痕。
但火箭是「搬」出来的
后期短板如期而至:工厂规模扩大后出现系统性的产线脱节,相对进度明显放缓。最终的火箭发射,靠的是 Sol 大量的「手动」操作——在工厂各区之间反复运送物资,把没能互联的生产系统硬补起来。这是全篇最值得琢磨的细节:模型宁可无限打苦工,也不回头重构。成本侧,Madden 在给 RuntimeWire 的邮件里报了账:约 2.5 亿输入 token(95% 命中缓存)、150 万输出,按 API 价格折合约 52 美元。
所以呢
Madden 自己的判断值得引用:Factorio 在很多方面像编程,但对外行直观可读,所以特别适合当作理解模型能力的媒介。这一局展示的是当下 agent 的典型形态——局部聪明、全局将就:能补台,不会搭台。什么时候模型愿意停下来重构工厂,而不是无限搬运,什么时候才算真正学会了长时程任务。他预告接下来会测其他模型、更高思考档和非和平模式,这个系列值得持续盯。
原文: https://ryanmadden.net/gpt-56-beats-factorio/
报道与成本数据: https://runtimewire.com/article/gpt-5-6-sol-s-factorio-rocket-run-used-250-million-tokens-about-52-at-api-prices