后训练阶段的每一分提升,几乎都拴在人类生产的监督信号上:要么是标准问答对,要么是人工策展的题集,要么是更强的教师模型。10 月 23 日,一支 Google 团队把论文《On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models》挂上 arXiv(编号 2610.32770),给出了另一个极端的答案:把这些外部依赖全部拿掉,只给模型几个粗粒度的主题词,让它自己给自己出题、自己批改、自己升级。
把出题权交给模型
论文的起点是一个已经颇为成熟的方向:on-policy 自蒸馏——让模型在不依赖更强外部教师的情况下做后训练。但作者指出,现有做法仍然需要 ground-truth 问答对、人工策展题集或其他监督信号,「人类数据」这根拐杖没有真正扔掉。
这篇论文的框架(下称 OPST)把拐杖抽得更彻底。整个训练管线只需要一样人类输入:粗粒度、高层的主题描述。围绕这些主题词,模型自己合成问题与配套的「特权推理示范」(privileged reasoning demonstrations),自己搭出一条课程(curriculum)——从出题、解题到筛选,全程没有一道人类写的习题或答案。
两道防自欺的闸门
自己给自己出题,最大的风险是把错题当真题。OPST 的解法是一个伪验证过滤器(pseudo-verification filter):一道自生成的题目想留在课程里,必须满足一个条件——模型换一个全新上下文、换一种问题改写(paraphrase)之后,仍然能复现出原来的答案。答得出来,才算数。
另一道闸门是「特权推理示范」本身。作者在 Hugging Face 论文页的讨论区里把评估范围说得更直接:他们看的不只是训练域内的自我提升,还包括混合多个生成域时,模型在未参与自训练的域上知识是否保留。结论是两头都成立:域内多个方向提升,域外能力不丢——这对长期困扰微调的「灾难性遗忘」是个正面信号。
文本之外,还能看图
框架的通用性不止于纯文本。论文展示了一个多模态版本 Visual OPST,把同一套自训练逻辑迁移到视觉输入上,在视觉问答(VQA)任务上取得一致的自我提升。作者在讨论区的总结是:OPST 在不使用任何人类策展问答的前提下,同时改善语言与多模态推理,并优于其他替代训练策略。
团队阵容六人:Leon Sick、Lukas Hoyer、Yannick Strümpler、Christian Reisswig、Timo Ropinski、Federico Tombari,论文页面挂 Google 机构,10 月 26 日由一作本人提交到 Hugging Face Daily Papers,目前已有 11 个 upvote。
论文先行,代码未到
还有一个事实值得注意:截至发稿,Hugging Face 论文页显示「引用本文的模型 0、数据集 0、Space 0」——方法已经公开,工件还没落地。论文的结论也写得相当克制:它证明的是基础模型本身就具备丰富的潜在能力,不需要外部任务监督或策展题集分布,也能被放大出来。
这件事的行业意味可以往两个方向读。乐观读法:合成数据的自我供给闭环又往前走了一步,数据生产从「人力瓶颈」变成「算力瓶颈」,对攒不起题库的小团队尤其友好。谨慎读法:伪验证过滤器筛掉的是「不一致」,而不是「不正确」——一道题如果模型在每次全新上下文里都稳定地答错,这个过滤器拦不住它。自训练放大的是模型已有的分布,顺带也会放大已有偏差,这个敞口论文没有完全合上。
一个值得留在评论区的问题:当出题人、答题人和批卷人是同一个模型时,你愿意把多少后训练交给它?