递归自我改进的循环,最先卡住的地方往往不是"练什么",而是"旧经验什么时候失效"。10 月 28 日挂上 arXiv 的 A-RSI(小米研究院与特伦托大学等合作)给了一套工程化的答案:让模型盯自己的训练日志,发现题池刷"枯"了就整池换新,全程不用外部标注。论文两天冲上 Hugging Face 每日论文榜第 2,截至发稿 155 个点赞。
两个被忽视的老问题
现有自我改进工作大多在解决"生成什么经验":造更难的任务、筛更好的轨迹。A-RSI 点出两个薄弱环节:一,监督信号常靠自洽性或多数投票构造,等于让模型拿自己都不确定的预测当老师;二,几乎没人回答"当前经验何时耗尽"——题池刷到没东西可学,训练就开始空转。
训练日志当裁判,程序当出题人
A-RSI 把两件事拆开。换题时机:只读模型自己的训练日志,监控奖励方差与准确率,信号留存跌破 85% 阈值就整池换新——400 题一池,按固定家族配额抽取(194 几何、131 图表、54 表格、21 计数),全程不看验证集或测试集分数。监督来源:一个静态的"模型写程序"库生成多模态题目并直接算出参考答案,答案可独立校验,不依赖模型投票。刷新规则本身经过形式化验证,32 万余个阈值与初始化用例全部匹配。
800 道新题,涨 3.27 分
主实验基于 Qwen3-VL-8B-Instruct:8 个续训窗口、累计 800 道新题,把 11 项基准的宏平均从 57.77 拉到 61.05,22,042 道测试题上所有单项全部上涨(+1.19 到 +8.33)。对照组更说明问题:老题库一直刷,到第 6 窗口只有 58.35,随后停滞;每窗全换烧掉 3,200 道题才到 60.64——A-RSI 用四分之一的新题量反超 0.40 分,每千题收益 4.09 分对 0.90 分。在小米自家 MiMo-VL-7B-SFT 上,分数从 59.08 提到 60.71,换题同样在第 3 窗自动触发。每个续训窗口包含 100 次 GRPO 更新,主轨迹与各对照臂共享同一套优化设置。
最值钱的是"自己拆自己"的审计
作者主动拆穿了自己收益的一部分来源:截断率从 14.34% 降到 4.16%,相当一部分涨分其实是模型学会在预算内把答案写完、正常收尾,而不是视觉推理真的变强;换成格式校正重打分,增益仍保住 +3.27。再用 Qwen2.5-14B-Instruct 当独立判官重评,判官口径准确率从 54.83 升到 59.54;把输出预算从 4096 翻倍到 8192 重测,对基座的增益仍有 3.25 分,高于先前零数据方法 MM-Zero v5 的 2.45 分——结论换几个口径都站得住。他们还承认:难度、控制器、rollout 三种选题器都没跑赢随机抽取;单次运行下,换题时机的优势结论并不成立。项目页代码标注"即将放出"。
所以呢:零数据自提升的瓶颈,正在从"怎么造题"移向"何时换题"和"监督独立性"。对想在自家业务上跑自我改进循环的团队,这篇的可复用资产不是 61.05 这个数字,而是"先形式化验证、再独立审计、最后承认局限"的动作——先抄审计,再抄方法。
论文: https://arxiv.org/abs/2610.38568 ;Hugging Face 页面: https://huggingface.co/papers/2610.38568