在《我的世界》里从零合成一把铁镐，意味着挖矿、烧炼、合成的多阶段连续作业——过去能做到这件事的 AI，要么眼睛长在环境接口上，要么手长在脚本里。10 月 22 日提交到 arXiv 的 HiSTEVE 1.0 给出了第三种答案：只看第一人称画面、只动原生键鼠，像人类玩家一样把整条链路跑通。HF 论文页将团队标注为 Tencent。
两派 agent 的老断层
《我的世界》agent 研究长期分两派：VPT、STEVE-1 一脉有原生视觉运动控制，却没有长程自主性；Voyager 式高层规划靠环境 API 和预定义技能执行，离开特权接口就失能。HiSTEVE 的切入点是把两边缝起来——不读游戏内部状态、不调环境 API，规划与执行分层协同，这套组合也被论文称为能力感知的 agent harness。
分层设计：规划器、检测器、执行器
编排层带一个结构化记忆负责追踪任务进度，GPT-4o 作为规划器在 VLA 能力圈内挑选下一个原子子任务。执行层是单一 VLA，从 Qwen2.5-VL-7B 初始化，纯视觉输入，以 20 Hz 输出键鼠动作，覆盖全部子任务。
分层系统最难的是「子任务什么时候算完」。团队为此专门训练了一个策略耦合的完成状态检测器：Qwen2.5-VL-3B 底座，共享 VLA 的图像编码器，再读取 800/600/400/200 毫秒间隔的历史帧。在 4,674 个 VPT 轨迹样本的验证集上，这个论文表格标注为 1.4B 的检测器准确率与 F1 双双达到 0.863，高于被提示词驱动的 GPT-5.5（0.776）；Qwen3.5-35B 的「未完成」类召回只有 0.042，基本判不动。专用小模型在窄任务上赢过通用大模型，这里是一个干净的例证。
两个容易被忽略的工程细节
GUI 与非 GUI 交互共享全部参数时，优化信号会互相打架。团队的对策一是 regime-specific RMSNorm：每层给两类交互各配一个独立缩放向量，额外参数只有层数乘隐藏维度两倍的量级，开销可忽略；二是给鼠标移动单独一套 token 嵌入。训练分三阶段推进：世界知识注入、模仿学习、带环境反馈的强化学习，逐段提升可靠性与失败恢复。
成绩单与冷水
按论文自报的对比，HiSTEVE 在 MineStudio Bench（20 个原子任务、每任务三次尝试）拿到 85.0% 的严格 pass@1，对比里最强的基线 OpenHA Text/CoA 为 65.0%；OpenHA 平均成功率 37.4% 对 36.8%，优势集中在 Embodied 家族（37.0% 提到 46.0%）；长程 LongBench（14 个只给目标的任务、49 个隐藏诊断节点）里 Resource & Crafting 家族成功率达 42.9%，比基线高 28.6 个百分点。
但论文自己也写得很清楚：GUI 与 Combat 两族略低于基线——失败案例能摸到正确界面，却断在多步物品放置、中间态纠正、结果取回这些环节；Recovery 与 Open-ended 任务仍然很难。另外，规划器用的是闭源的 GPT-4o，整套系统的「自主」有一段握在别人的 API 里。
游戏为什么值得认真看
游戏是具身智能最便宜的压力测试场：规则开放、反馈即时、失败零成本。更重要的是，human-interface 路线——不靠特权接口、只用屏幕和键鼠——恰好是真实世界 GUI agent 的镜像问题：让 AI 操作一台普通电脑，和让它玩一个开放世界游戏，考验的是同一种能力。等这条路线成熟，最先被重新定义的不是游戏，而是「坐在电脑前的工作」本身（论文全文见 arXiv:2610.31162）。