127 条「生命」,1,300 小时,351,000 次尝试,答案不是「怎么训」,而是「谁来判卷」。

设定很干净:一个 Qwen3 0.6B 小模型当私人助理,白天干活,每晚用 SFT 加 DPO 训一个 rank 8 的 LoRA 适配器,第二天早上挂回 vLLM 继续上班。底座全程冻结,学到的东西全在那个几兆的适配器里。任务用 WebShop 和 τ²-bench,模拟用户每次尝试后说一句话。

变量只有一个:谁来决定白天的哪次尝试值得学。作者比了五种判卷人——真实结果(oracle)、用户明说表态、模型自评、自评加用户反应,以及一个单独冻结的小模型专门读用户反应。全部实验跑在单卡 NVIDIA L4 上,WebShop 每晚训练 1 到 4 分钟。

第 14 天,五种判卷人分成三档

第 14 天考试(50 道没学过的合成题,0 到 100 分,5 个种子):oracle 63.2 ± 0.2,用户明说表态 41.6 ± 23.1,模型自评 27.0 ± 11.9,自评加用户反应 23.1 ± 17.0,完全不学 14.2 ± 2.2。oracle 对后两者的优势统计上站得住(p = 0.009 和 0.006),但自评跟「根本不学」比都没比出显著差距(p = 0.12)。

麻烦在形状。自评前期学得跟 oracle 一样快,day 7 到 55 分、另一组 45 分,oracle 是 62 分。可到 day 14,当初这 9 条命每一条都跌到自己 day 7 以下,有一条直接掉到 0。

一年:从 52 分到 5 分

作者把自评加用户反应那组拉满 365 天。第 6 天左右见顶(52 分,区间 42 到 58),第 14 天退回起点的 15 分,一年结束只剩 5 分(0 到 19),5 条里 3 条是 0。同期 oracle 从 15 分涨到 64 分再没下来,一年里始终在 55 到 64,day 365 是 61 分。

作者怀疑是适配器被覆盖,于是换了四种 LoRA 设计:一直增长的、每 4 天学习率减半的、每 2 天换新并冻结旧的、新的逐次变小(rank 8 降到 1)。四种 day 7 都停在 46 到 53 分,day 14 全掉到 26 到 38 分。时间解释不了,适配器也解释不了。

先让它分得清「谢谢」和「算了」

第一版 sense 拿公开数据集的标注训,第二版换成让 Qwen3-32B 当老师蒸馏,第三版才加上关键一步:先问「这反应算不算一个明确结论」,是的话再问「打几分」。三版都不训练,每条命开始前造一次。

第二版翻车彻底:5 条命里 3 条在 day 1 就掉到 0 到 3 分。原因一句话说得清——用户说「太感谢你帮忙尝试了,我自己再看看吧」,机器一件没买成,这失败被 sense v2 打了 100 分、置信度 0.92,直接变成当晚的教材。这 3 条命学的东西 96% 到 100% 是失败。

第三版读同一批 2,622 条反应做现场对照:把「放弃」和「礼貌抱怨」读成成功的比例从 15.8% 压到 1.0%(Fisher 精确检验 p < 0.001),代价是把真实认可读成「是」的比例从 70% 降到 59%。5 条命里 4 条在 day 14 站在 53 到 60 分,oracle 63 分。

两周之后,好学生也会退学

作者让这 4 条命继续跑到 60 天。day 14 还在 53 到 60,day 30 掉到 36 到 44,day 60 只剩 9 到 22 分,同期 oracle 是 61.8 ± 0.9,差距 p < 0.001。这段时间课是干净的(失败课占 2% 到 10%),但每天只学到 1.6 到 2.4 条,oracle 每天 20 到 21 条。干净却稀缺,一样会退。

更该记住的是第一晚。20 条 sense 命里 7 条第一晚就吃到过失败尝试,这 7 条里 6 条最终停在 0 到 3 分(p < 0.001);另外 13 条没有一条低于 28 分。汇总 97 条命,「失败尝试占课程的比例」和第 14 天成绩的 Spearman 相关是 -0.81,去掉 oracle 那批仍是 -0.61。

用户看不见结果时,学到手的就是失败

τ²-bench 搬来最硬的条件:客服用户看不到数据库,不知道单子办没办成。让 sense v3 读 292 段对话结尾,34 次「是」里有 20 次跟在失败的对话后面。用户是真心道谢,sense 也读懂了人,只是读不出用户自己不知道的事。

跑起来更惨:sense 判为「好」的对话只有 20% 真的成功(1.7B 是 47/232,0.6B 是 42/212)。1.7B 的 3 条命在 day 30 全部远低于起点:航空 25% 掉到 2%,零售 11% 掉到 3%,电信 33% 掉到 8%,总成绩 23% 掉到 4%(p = 0.03)。其中一条 9 天内就不完成任务,练习成功率从 17% 掉到不到 1%。

oracle 自己也掉:1.7B 的 oracle 命总成绩 23% 掉到 13%,航空 28% 涨到 35%,零售 11% 掉到 6%,电信 32% 掉到 10%。学成功也会学偏——课程里约四分之三来自航空(1.7B 72%,0.6B 77%),模型就往自己已经会的地方缩。

该泼的冷水

用户全是模拟的,WebShop 那个还是作者自己设计的,只有 τ²-bench 的客户不是。sense 在不同实验里换过版本,v3 是被实验 3 逼出来的,其标注指南几乎原样复刻了那个失败例子,所以 v3 的对照测试不算完全独立。种子只有 3 到 5 个,WebShop 考试 50 题,10 分以内算噪声,论文里的 WebShop 分数不能跟已发表结果比;τ²-bench 用 Gemini 3 Flash 代替了原本的 GPT 客户和评分器。oracle 还没有其他判卷人有的重试与偏好对。

这是 arXiv 预印本(34 页 11 图),没过同行评审;遗忘和后期衰退的成因没查清,也没试过任何修复方案。

所以呢

判卷又是两件事——判卷人准不准,用户到底看没看见结果。

第一条立刻能用:单独养一个小的、冻结的判卷模型,让它先答「这是不是一个明确结论」,再答「打几分」;含糊就弃权,别猜。

第二条更反直觉:只有用户能核验结果的地方,反应才配当教材。与其学用户说了什么,不如学用户做了什么——买了、退了、改了、取消了。行为不带客套。这是论文自己提的下一步,还没验证。

第三条:课程里不能有失败尝试,第一晚尤其要命。端侧模型每天只有几十次机会,一条错的教训就够把学习带歪。

给端侧小模型做「每晚自己复盘」的团队,先别改超参,先问:我让谁判卷?判卷的人,看得见结果吗?

(论文与代码见 https://arxiv.org/abs/2611.23716 ,数据仓库 https://github.com/kratai-desci/research/tree/discernment/discernment ;递归训练会致模型崩塌这一机制可参 Nature 的 https://www.nature.com/articles/s41586-024-07566-y ;用户隐式反馈本身可用这一面见 https://arxiv.org/abs/2407.10944 与 ACL 2026 的 https://aclanthology.org/2026.acl-long.1701/ )