数独是研究「模型改错」的干净解剖台:每格只有一个正确数字,对错一目了然。论文作者让在数独轨迹上微调过一轮的 LLaDA-8B-Instruct 解 190 道唯一解 4×4 数独,然后做了个残酷实验:在 77 个失败盘面里,把写错的格子全部重新罩上 mask 让模型重填,只救回 6 个——连「哪格错了」都告诉它,修补率仍不到一成。更吊诡的是,错误明明写在模型内部:线性探针读末层隐藏状态,区分错误格与正确格的 AUROC 达 0.838,token 置信度只有 0.685。找得到、改不动,这是 masked 扩散语言模型(MDLM)纠错的真实处境,也是 arXiv:2611.17320 这篇新论文的出发点。
定点修补为什么失败
两个诊断结果都指向上下文在「护错」。其一,单独 mask 掉一个已提交的错误格让模型重填,原来那个错误数字的平均概率还有 0.869;提交十六步之后才重开,概率反而涨到 0.962——周围没变的格子仍在合力支持同一个错误。其二,把出错之后的推理一并回滚,最好的固定深度只修好 13 个盘面;甚至允许每题按金标准答案挑最优回滚深度,也只有 15 个。作者的判断很直白:错误信息可以从模型状态读出,但在原上下文里重填错误位置基本修不好;该做的是把一个区域整体重写,再用「最终能不能做对」来挑。
DiVR:共享骨干的裁判
于是有了 DiVR(Diffusion Verifier for Regeneration)。它复用生成器的冻结骨干,外挂 rank-32 LoRA 适配器加两层 MLP 头,可训练参数约占骨干的 1%。训练信号只要最终答案对错:每题采 4 条生成器自己的轨迹(温度 0.7),2,000 道 GSM8K 训练题即可,不需要 token 级标注。解码时,生成器每写完一个 32-token 块,验证器就给画布打一次分;低于阈值 0.5 且每题三次的重生成预算没用完,就把整块重新 mask、采 4 个替代块,谁分高留谁,都不行就保留原块。画布 256 token(MATH-500 用 512),每块 16 步。生成器本身一个参数不动。
论文实测的账本
五个基准(GSM8K、MATH-500、Countdown、HumanEval、MBPP)上,LLaDA-8B-Base 微调版贪心平均 35.3%,DiVR 引导解码提到 43.4%,代价是贪心的 1.9–3.5 倍;同一张表里,搜索基线 SR-SMC 用 3.8–4.0 倍算力拿 39.1%,Prism 用 5.2–7.4 倍拿 37.3%。折算下来,引导解码约用 SR-SMC 七成计算量、不到 Prism 一半。单看 GSM8K:68.7% 到 78.8% 只花 2.1 倍,对照 SR-SMC 72.6%(4.0 倍)、Prism 71.9%(5.9 倍)。换生成器也成立:LLaDA-8B-Instruct 平均 39.4% 到 44.8%,best-of-4 模式到 49.8%;Dream-v0-Instruct-7B 从 45.0% 到 54.8%,Countdown 上 18.0% 到 37.2%,论文原文用的词是翻倍。泛化同样在:只在 GSM8K 训过的验证器,把 MATH-500 从 24.6% 拉到 33.8%;SFT 版验证器直接给未微调 Base 用,平均 29.3% 到 38.0%,比 SFT 本身的 35.3% 还高。它还能叠加后训练:diffu-GRPO 强化学习后平均 40.1%,再加引导到 45.4%。论文还记录了一个耐人寻味的现象:RL 把奖励里的正确项从 0.76 推到 1.35(满分 2),贪心准确率却几乎没动——RL 改变模型写什么,验证器决定哪块该扔,两份增益相加。
管用的是裁判,不是更多采样
固定重生成预算、只换「何时重写」的信号:承诺置信度做判据是 72.2%,模型自问 Yes/No 是 67.9%,去掉 LoRA 只留头是 74.2%,完整 DiVR 78.8%,成本 ×2.10,低于对照信号的 2.45–3.62。挑完整答案时,平均对数概率 68.5%,几乎等于随机挑(68.7%);majority vote 75.7%,DiVR 82.2%,四条采样的 oracle 上限 85.4%。修复还集中在开头:GSM8K 的 154 个修复案例,74% 从第 0 块出发,92% 落在前两块;第一块分数对「最终会错」的检出率 76%、误报 22%,Countdown 更是 99% 对 1%。阈值 θ 在 0.1 到 0.9 间拨动,准确率只在 77.5–79.2% 波动、成本 1.79–2.61 倍——它更像成本旋钮,不是效果开关。
冷静的部分
论文自带的限定值得照抄:主运行 78.8%,只换验证器训练种子是 77.5%,只换重解码种子是 77.6%,作者注明这是敏感性检查、不是端到端独立复现;outcome 监督依赖答案可校验的领域,数学与代码天然合适,开放域得另想办法。结论句可以概括为:对 MDLM 而言,修订更缺的是一个「何时从头再来」的学习判据,而不是更精的找错方法。这与自回归侧用最终对错训验证器、再拿它挑候选的老路子一脉相承,DiVR 把它搬到了部分 mask 的画布上。代码仓库在论文注脚给出:minhaeoh/DiVR。
模型知道自己在犯错,只是改不动自己。让一个共享骨干、只占 1% 参数的裁判喊「这块重来」,比让模型盯着自己的置信度反复犹豫,更便宜也更有效——对做扩散语言模型推理的人来说,这大概是论文里可直接抄走的一招。