人类科研人员习以为常的一件事，AI 科学家一直没有：一个能踩进去的世界。几百年的文献摆在那里，可读、可引用，却不可运行——论文里的方法跑不起来，后来者只能在静态文本上"读"研究，不能"做"研究。Taiming Lu、Sachin Konan 和 Zhuang Liu 三位研究者发布的 Scientist World 补的就是这块地板：把 arXiv 论文一篇篇变成可执行的研究环境，首批 1,000 个，全部由多智能体流水线自动构建，没有任何人类环节审稿。
造世界：12 万篇论文筛出 1,000 间实验室
筛选从 arXiv 核心 AI 类目近十四个月的 124,816 篇唯一论文开始，先用 MiniMax M2.7 做两轮快筛——质量带取前 25% 左右，类型只留以量化优化为主贡献的实证方法论文——剩 21,354 篇；再对研究质量与复现难度做细评，按几何均值效用做类别均衡，取出前 1,000 篇。源头每月新增约 9,000 篇，约 1,500 篇能活过筛选，这个世界会随文献继续生长。
构建是九轮迭代的固定工作流：三个复现者、三个设计者、一个打包者、两轮独立校验，模型家族在 GPT、Claude、MiniMax、GLM 之间轮换，避免一家之言。单篇成本中位数 0.4 GPU 时，最高 70；1,000 篇合计烧掉 2,286 GPU 时、239,506 个计算任务、947,056 轮智能体交互、510 亿输入 token。
质量不是口头承诺：99% 的环境里，复现方法的分数落在论文报告值的容差内；82% 赢过论文自带的 baseline；37% 的迭代里程碑被后续交叉检查打回重来，共 573 次；最终每个环境还必须通过一个未参与建造的独立校验者，1,000 个全部通过。
考试：16 个前沿模型，74% 的时候赢了原作者
每个环境平均带 3.3 个实验、32 个指标（可见与隐藏各 16）、59 个文件约 3,800 行代码，横跨 8 个领域。评测的一半指标永远对参赛者隐藏，分数反映泛化能力，而不是对着可见半区调参。计分用作者定义的 FNI：0 等于复现论文原方法，负值更差，前沿模型队列的平均分锚定在 100 附近。
16 个模型来自 7 家：Anthropic 的 Fable 5.1/5 与 Opus 4.8/4.7、OpenAI 的 GPT-6 Astra 到 GPT-5.4 四款、智谱 GLM 5.2/5.1、月之暗面 Kimi K2.7/K2.6、MiniMax M3/M2.7、小米 MiMo V2.5 Pro、DeepSeek V4，分别经 Claude Code 与 Codex 等脚手架进入环境。结果：改进已有方法时，84% 的尝试超过原方法；从零设计新方法时，这个数字是 74%——AI 科学家在大多数环境里，做得比论文作者发表时更好。榜单上 Fable 5 是改进现有方法的冠军，Fable 5.1/5 包揽设计新方法前二；开源阵营最接近前沿的是 GLM 5.2，设计新方法排第三。
这些尝试没有被扔掉：平均每次 5.4 小时、6 次方法修订、25 个实验、35 次 commit，全部以版本库形式保存，合计约 6,400 小时的完整科研轨迹。
训练场：8B 小模型的想法涨到 2.6 倍
世界建好，还能反过来当健身房。作者用 Tinker 训练 Qwen3-8B（LoRA rank 32）：先在 1,000 条轨迹样本上做 SFT，再对 1,500 条已打分的想法做 GRPO。8B 模型还扛不动长程实现，作者干脆把"出想法"与"做实现"拆开——训练后的模型只负责 ideation，实现统一交给固定的 GPT 5.6 Sol，在 10 篇 held-out 论文上同条件执行，唯一变量是想法的来源。中位 FNI 从基线的 41 到 SFT 后 84、GRPO 后 106，约 2.6 倍（即摘要里的 ↑158%）；均值从 51 升到 90，够到前沿队列的锚。
所以呢
这项工作真正硬核的不是 74% 这个数字，而是把"会做科研"从形容词变成了可测量的工程问题：复现容差、隐藏半区、独立校验、FNI 归一化，每一层都在防作弊。37% 的打回率同样值得记住——全自动流水线的可信度不来自信任，来自互相挑错。当模型能力按月迭代，瓶颈正从"脑子够不够聪明"挪向"世界够不够大"：文献是现成的，缺的是把文献变成可运行环境的那条流水线，而这条流水线每月还有约 1,500 篇的产能。AI 科学家最缺的从来不是智能，而是一个允许它反复失败的世界。