把「智能体到底该喂什么数据」这笔账摊开算清楚,可能比再多刷高几个点更有用。

arXiv 上的 daVinci-Prover(论文)做的是形式化定理证明:模型在隔离工作区里写 Lean 4 代码,编译器当场判对错,错了再改。它有意思的地方不是又一个刷榜模型,而是一组反常识的对照实验。

反差在这条。按论文实测:33.7B token 的中间训练语料里,真正与环境交互相关的智能体轨迹只有 8.4B,但这 8.4B 在 MiniF2F 和 FATE-M 上的增益,比 25.3B token 的通用定理证明技能先验还大。另一笔账更贵:48 张 H200 跑约 20 天,折成公有云租赁是 122,000 到 146,000 美元。

语料里装了什么

语料分两块。一块是技能先验,覆盖证明分解与组装、带验证的子目标搜索、错误诊断与修订、自我验证;另一块是环境原生轨迹,包含真实的工具调用、执行结果、中间证明状态和 Lean 反馈。数据源是 NuminaMath-LEAN、AoPS、Lean Workbook、Goedel LM/SFT_dataset_v2 和 OProofs,按 Qwen3.5 分词器算总量 33.7B token、样本 9.585M 条,其中回放又加进来 5.11B,预回放数据 28.6B。污染过滤也做了:2,137 道评测题里查出 29 道与语料重叠,占比 1.36%,最多折合 11.55M token,占整个语料的 0.03427%。

教师模型是 DeepSeek-V4-Flash 和 DeepSeek-V4-Flash-0731。SFT 阶段另搭了一套 daVinci-Prover harness:输入定理原样写进 scratch/solution.lean,智能体每回合从七个工具里挑(读写编辑文件、检索 Mathlib 声明、跑 Lean 检查),可写目录只有 scratch/ 和 sketch/,target/ 只读,每次改 Lean 文件自动触发验证。它故意不暴露 bash 和 Python,为将来做 RL 留口子。轨迹用 DeepSeek-V4-Flash-0731 在 Goedel-LM/RL_dataset_V2 的约 99K 道未验证题目上跑出来,上限 30 轮、200 次工具调用,留下约 36K 条高质量轨迹做 SFT,不足 5 轮的直接丢掉,超出 144K token 上下文的也不要。

8.4B 打赢 25.3B

消融在 Qwen3.5-9B 上做,基座本身是 MiniF2F 87.4、FATE-M 88.4、ProofNet 42.9。只喂技能先验(25.3B token)变成 87.8、89.8、43.6;只喂智能体轨迹(8.4B token)变成 88.8、92.2、43.5;两块合起来 33.7B token 则是 90.1、93.3、44.5。论文给的解释是分布对齐:推理时模型面对的就是工具调用、执行结果和验证反馈,训练时喂同构的东西,静态 next-token 训练和交互式证明之间那道裂缝就补上了。

和已有语料横向比,他们用 33B token 的中间训练对上 Oprover 的 65B:同样只做 SFT 的 Qwen3-8B-Base 是 73.4、68.0、28.4,Oprover-8B-Base 加 SFT 是 80.3、73.1、30.3,这套配上是 85.3、85.3、40.4。论文自己的说法是,除了规模,配比本身同样关键。

压缩上下文,比换参数划算

还有个容易被忽略的开关:记忆压缩。做法很朴素,上下文到 200K token 时触发,把旧交互替换成抽取出来的工具证据,保留原始定理、当前 Lean 证明和最近几轮,最多压 8 次,不依赖模型自己总结。效果在更难的 FATE-H 上更明显:35B 模型从 16.3 涨到 42.0,9B 从 16.7 到 28.0;MiniF2F 上两个模型都到 97.1,论文在摘要里把这称作接近饱和。

这笔账要花多少

合成数据的成本论文算得很细:DeepSeek-V4-Flash-0731 跑了 48 张 NVIDIA H200、约 20 天,合计约 23,040 个 GPU 小时;Lean 验证服务用 8 组 worker、共 160 个 CPU 核和 640 GB 内存,约 76,800 个 CPU 核小时。按 Runpod 公布的 H200 两种规格单价(每 GPU 小时 5.29 美元和 6.35 美元),折算租下来大约 122,000 到 146,000 美元。论文强调这只是参考价,不是实际支出。

我的判断

值得抄的作业有两点。一是把「推理时会发生什么」提前写进训练语料,比多灌一半 token 更划算:同样 25.3B token 的技能先验,FATE-M 停在 89.8,换成 8.4B 的环境原生轨迹就是 92.2。二是 Lean 这种自带编译器的环境天然适合当智能体训练场,验证反馈免费、自动、可复现,比人造奖励靠谱。

要泼的是冷水。论文自己在 Limitations 里承认,中间训练阶段没有回放任何泛化数据,并认为补上泛化回放「既必要也重要」,这意味着现在的增益大概率还没到头。另一条是数据口径必须分清:arXiv 论文里的表格用 Lean v4.26、上下文 200K、至多 30 轮交互,pass@1 与 pass@8 混着报;官方仓库(GAIR-NLP/daVinci-prover)的 README 给的是另一套:Lean 4.35.0、每题 200 轮交互,底座换成 DeepSeek-V4.1-flash-1012,比的是同一个模型换不同 harness——daVinci-Prover 93.0,Claude Code 85.0,Codex 86.0,DeepSeek Harness 93.0;FATE-X 上 47.0 对 45.0、20.0、37.0;Putnam-200 上 87.5 对 86.0、86.0、88.5,同一列里 DeepSeek Harness 的 88.5 反而高出 daVinci-Prover 的 87.5。两套数字不能混着看。

旁证来自另外两个团队。Moonshot 的 Kimi-Dev(论文)用 agentless 训练产出技能先验,再拿 5k 条公开轨迹做 SFT,把 SWE-Agent 推到 48.6% pass@1,论文自陈与 Claude 3.5 Sonnet 相当——「先验打底加少量环境轨迹」这套配方,在代码仓库场景已经先跑过一遍。DeepSeek-Prover-V2(仓库)走的是另一条路,用 DeepSeek-V3 递归分解子目标合成冷启动数据再上 RL,671B 模型在 MiniF2F-test 上做到 88.9% 通过率,PutnamBench 658 题解出 49 题;而 ProverBench 这个基准有 325 道题,15 道出自 AIME 24 与 AIME 25,另外 310 道取自教材与教程,这一点两个独立团队的说法能对上。