后训练阶段绕不开一笔账:SFT 之后还想做偏好对齐,数据从哪来?雇人标偏好,贵,但一直被当成金标准;用大模型自己造,便宜,又总被怀疑自欺欺人。过去比较这两条路线,几乎都固定样本数——各拿一万条比效果。Shourik Banerjee 等人 11 月 12 日发布在 arXiv:2611.16895 的论文换了个问法:把预算钉成美元,两边各自采购,谁的模型更强?
把钱钉死再比
三个 7B 级开源基座:Olmo-3-7B、Llama-3.1-8B、Qwen-2.5-7B,统一走 SFT 加 DPO 加 LoRA。人工侧用四个公开偏好数据集:HelpSteer3、SHP、Anthropic HH、TL;DR。合成侧自己造两套,结构分别对齐 Anthropic HH 与 TL;DR:生成器是 Llama-3.1-Tulu-3-8B-SFT,靠 Persona Hub 人设采样保多样性,再让 Qwen-3-32B 当裁判、每对回答投 32 票取多数。
成本按公开牌价折算:合成偏好数据每条 0.0102 美元,摘要任务每条 0.0194 美元;人工标注按复现口径估每条约 1.3 美元——助人场景两类数据单价差约 130 倍。预算档统一设 100、200、300、400、1000 美元,人工侧额外加一个 1.3 万美元档(一万条)。评测用 2048 条 held-out 测试集、gpt-oss-20b 当裁判、候选位置随机化;论文还专门验证了裁判的可信度:它与两位人类标注员的一致率,和这两位人类彼此之间的一致率相当。
合成先到顶,人工要用十倍以上的钱
三个基座规律一致:合成数据前几百美元涨得飞快,随后饱和,多数提升发生在前几百美元内——天花板由数据质量决定,而不是预算。人工数据正好相反:同样几百美元只买得起 76 到 769 条样本,模型几乎原地不动;要等到 1.3 万美元档才有竞争力,比合成侧顶格的 1000 美元档还贵十倍以上,且只有 Llama-3.1-8B 和 Qwen-2.5-7B 超过合成峰值,Olmo-3-7B 仍没追上。助人任务上,在双方都训练过的每个预算点上,合成数据都追平或超过所有人工源。
摘要任务更残酷:TL;DR 人工数据到 1.3 万美元档仍低于合成天花板,任何测试过的预算下都没追上。Qwen-2.5-7B 还走出一条先跌后升的曲线——基线胜率 0.41,小数据量微调先跌到 0.20,喂到 12000 条、约 1.56 万美元才回到 0.53,仍不及合成。
两个反直觉发现
第一,混着用更差。1.3 万美元预算下,从 95/5 扫到 99/1 的每种人工/合成配比,胜率几乎全线低于两个纯源中较好的那个,有时连两个纯源都不如——Llama-3.1-8B 摘要任务混合配比落在 0.52 到 0.56,纯合成天花板 0.72,纯人工 0.59。根子在成本结构:130:1 的单价差下,90/10 的预算分账换成样本数已经是 14.4:1;论文猜测,混合稀释了本可独自表现更好的那一方。
第二,人工数据也会翻车。SHP 的偏好是从 Reddit 分数反推的,不是标注员按指南比出来的;用它训练,三个基座全部跌破未训练基线,域限定加分数过滤也救不回来。论文的提醒相当扎心:偏好是怎么产生的、回答格式合不匹配,至少和「是不是人标的」同样重要——人工源也该先审计,再当金标准。
边界与启发
论文把边界划得很清楚:只测了 7-8B 基座加 LoRA 微调,没用全参;全流程只用开源模型,结论未必迁移到闭源前沿管线;合成数据的质量上限被 8B 生成器封死,换更强的生成器,成本-性能曲线可能改写。1.3 美元的人工单价也是复现成本估计,不是当年账单。
对实践者的启示很直接:预算有限,先用合成数据快速到顶;人工预算留给值得为更高天花板买单的场景,而且花钱之前先审源。论文还附赠一个免费的预警信号——过早自终止率:Olmo-3-7B 在 1000 美元档胜率从 0.876 掉到 0.794 时,句子没写完的比率从 5.5% 升到 17.5%,可以当低成本的检查点,但论文提醒它只是检查信号,不是停止规则。
所以呢——如果明年数据预算砍掉一个零,先砍哪头?这篇论文的答案大概是:先砍那个没被审计过的人工数据源。