智能体研究里有个不太起眼却很硬的约束:模型能学到什么,取决于它在什么环境里练。环境的状态、规则、动力学要自洽,画面还得像真实世界——这两条同时满足,恰恰是行业瓶颈。MirroS-Lab 10 月 8 日放在 arXiv 上的 AgentGarten 给了一个相当漂亮的解法,在 Hugging Face 10 月 9 日的论文日榜排到第一,目前 141 个赞。
架构:代码管规则,渲染器管画面
AgentGarten 把"世界"拆成两层。底层是模拟器和游戏引擎:维护持久的世界状态,执行程序定义的交互规则,保证物理上自洽。上层是一个共享神经渲染器:每个世界通过统一接口导出深度图和表面法线,渲染器据此生成智能体"看到"的画面。规则交给代码,观感交给神经网络,两层各司其职。
渲染器不是从零训练的。团队拿 NVIDIA 的 Cosmos3-Nano 视频模型做底座,分三步改造:先做双向 rectified-flow 训练,再上自回归 block-causal 训练(带 KV cache 采样),最后用他们提出的 Adversarial Forcing 蒸馏成少步学生模型——每段回放精确可微,后面块的损失能反过来更新模型对历史的编码方式,再加真实数据判别器压制视觉质量短板。推理端逐块流式生成,手写 Triton kernel 加 CUDA graph,明确不用 torch.compile。
效果:4 轮 vs 百万轮
论文给出的对比相当悬殊:智能体只需要 4 轮经验就能学会核心策略,而传统强化学习对照组是百万轮量级。按论文作者在 Hugging Face 页面的描述,在捉迷藏任务里,躲藏方第 4 轮开始搭掩体,寻找方第 10 轮学会用坡道。机制上,每轮经验会被蒸馏成 playbook,后续智能体继承并继续改进——经验以可读文本的形式跨代累积,而不是全部堆进权重里。
更关键的是扩展性:新世界直接用代码写,过同一个渲染接口就能跑,环境的数量和难度可以跟着智能体一起涨。
开源了什么,还欠什么
现在放出来的是 Apache-2.0 协议的渲染器训练与推理代码,权重挂在 Hugging Face,仓库发布三天攒了 143 个 star。但 README 的 TODO 里有两项还没勾:实时渲染引擎(流式服务器+交互前端),以及最核心的"代码世界+智能体训练循环"本身。也就是说,这套体系目前只交付了渲染器这一半,论文里那个 4 轮出师的完整闭环,外界还跑不起来。
所以,把它当成"世界模型当训练场"路线的一个高质量组件来看,比当成完整系统更准确。代码世界能不能像论文设想的那样随智能体一起扩展,要等训练循环落地才知道。论文原文见 arXiv:2610.12374,代码在 GitHub。