IBM Research 用 DASH 把推理模型的「过度思考」砍下来:AIME25 比 GRPO 多 5.4 个点,靠的是中间答案当免费监督

IBM Research(Chia-Hsuan Lee 等,7 月 1 日挂 arXiv:2607.00482)提出 DASH,从机制层回答推理大模型的「过度思考」问题:哪段自反思有效,哪段是无效空转。 论文先打消融:即便控制长度,错误轨迹里无效自反思比例仍系统性偏高——长度不是原罪,方向才是。step-level 标注太贵,DASH 的关键洞察是:推理链里每一次「我先尝试答案 X」都是天然检查点,与 ground truth 比一比就能无监督判定后续反思是收敛还是漂移,据此把整条轨迹切成可单独打分的 segment,在优势函数里按段塑形。 AIME25 上 DASH 把 GRPO 从 45.4% 抬到 50.8%,行为上少绕弯路、自纠更有效。意义不只是 +5.4,而是不引入额外监督——所有 RLVR 流水线都能低成本接入。 后训练信用分配始终卡在轨迹级或 token 级。IBM 把 credit 切成 segment 级,给 Qwen、Claude、Gemini、DeepSeek 等长 CoT 推理模型提供一条通用的「降 token + 涨正确率」工程路径。