GRPO、DAPO、GSPO——这些名字已经变成 LLM 推理后训练的标配,但都困在同一个两难里:**Importance Sampling 想拉高样本效率,却一不小心就训崩**;**clip 阈值一收紧,模型又变得保守,低置信度的好推理路径被直接卡住**,探索-稳定两头顾不上。ByteDance Seed 在 arXiv 2607.06987 上抛出的 **UP (Unbounded Positive Asymmetric Optimization)**,正是冲着这个死结来的。 论文先把问题形式化:作者提出「**Probability Capacity (Cap)**」的概念,证明当前主流的保守 clip 会**结构性**地把「答对但概率低」的推理路径提前截断,这正是 LLM RL 后期 entropy collapse 的根源。UP 的解法相当干脆——**用 stop-gradient 把策略锚到当前状态**,对正向 advantage **完全放开 clip 拿到稳定且无界的梯度**鼓励探索,负向 advantage **保留标准 clip 防止训崩**。一个非对称设计,同时解决两头。数学上,正向分支的 stop-gradient ratio 经求导后恰好化简回 REINFORCE 的 log-derivative 形式,既无 IS 爆炸风险,又把探索预算 Cap 从 1−(1+ϵhigh)πold 撑回到 1−πθ。 更讨喜的是**通用性**:UP 不挑算法,token-level 的 UP-DAPO/UP-GRPO、sequence-level 的 UP-GSPO 三种实例都验证过;不挑架构,Qwen3-14B (Dense)、Qwen3-30B-A3B (MoE)、Qwen3-VL-8B (Vision-Language) 全部能涨点;不挑模态,纯文本推理与多模态几何题都能收益。实测数据很有说服力——UP-DAPO 在 AIME24 上把 Avg@32 从 47.71 拉到 51.15、Best@32 从 80.49 抬到 81.79,熵曲线持续更高但 KL 与梯度范数几乎不增;UP-GSPO 把 MoE 峰值 Avg@32 从 52.71 推到 55.73;UP-GRPO 在 VLM 上把 Geometry3K 峰值从 59.30 抬到 62.60。这种「plug-and-play 损失函数」属性,意味着任何开源 RL 框架只要换一行目标就能吃到收益,落地成本几乎为零。 社区里那句「Awesome work, Seed!」代表了真实的兴奋点——这不是某个新模型架构的炫技,而是**给整个 LLM RL 后训练栈换了一块更稳的地基**。当各家都在卷 RL 训练数据和奖励模型时,把训练目标本身做对反而成了最稀缺的工作。