自我进化这条线上，研究者真正的隐性成本往往不是算法，而是评测。每篇做 Agent 自我改进的论文，都要自己重造一遍执行环境、评分口径、失败恢复和结果留痕，结果就是不同论文宣称的"提升了多少"根本不在同一个坐标系里。10 月 23 日提交到 arXiv 的 RSIHub 选择绕开算法创新，专攻这层实验基建，论文标注的会议是 NeurIPS 2026 Meta-Agents Workshop，Hugging Face 论文页把它归到字节跳动团队名下（arXiv:2610.32253）。

冻结评测器才是框架的核心

RSIHub 的抽象是 recipe 加 operator。recipe 声明哪些资源允许被改写，operator 是可复用的生命周期算子；框架本身负责执行、评测、恢复和谱系记录。整个循环被切成 select、rollout、analyze、mutate、guardrail、evaluate、absorb 七个阶段，落在九个命名算子槽位上，其中五个是必需的（select、rollout、mutate、gate、record），四个可选（analyze、validate、novelty、reflect）。

最关键的一条约束写在仓库首页：评测永远不是可选择的算子，它由框架独占。候选 Agent 可以改 prompt、skill、harness，甚至改一部分进化算子，但碰不到给自己打分的那套代码。论文把这称作归因风险的对策——如果被优化的一方能顺手改掉评测条件，"涨了多少"这个数字本身就失去了意义。评测器、归档戳记和框架代码都留在可变范围之外。

四种方法跑同一套基建

框架把 AHE、Hyperagents、A-Evolve、GEPA 四种已有方法重写成 recipe，方法专属逻辑留在 recipe 和 operator 里，框架内核一行不改。实验用 MiniSWE 和 Codex 作种子 Agent，在 Terminal Bench 2 和 τ³ Banking 两个基准上跑，每个任务只做一次试验，报 pass@1。目标模型统一是 GPT-5.4 高推理强度，变异算子由 xhigh 推理强度的 Codex 驱动。

在 MiniSWE 上跑 Terminal Bench 2，种子成绩 56.2，四种方法都涨了 7.8 到 13.5 个百分点，Hyperagents 和 A-Evolve 并列最高到 69.7，AHE 65.2，GEPA 64.0。但换更难的起点和另一个基准，故事立刻变样。Codex 在 Terminal Bench 2 上的种子是 69.7，AHE 只涨到 71.9，Hyperagents 和 A-Evolve 各加 1.1，GEPA 原地不动。τ³ Banking 上 MiniSWE 的种子是 27.8，Hyperagents 涨到 33.0，A-Evolve 却是 27.8 纹丝不动；Codex 的种子 24.7，AHE 涨到 34.0，GEPA 也有 33.0。

排名会翻转，这比最高分更重要

拆到 train、gate、sealed 三个切分上，结论更刺眼。Hyperagents 在 MiniSWE 加 Terminal Bench 2 上拿到最高整体分，sealed 切分追平 A-Evolve，gate 切分也只有它真正动了；A-Evolve 的 train 涨了 7.9 点，gate 却完全没变。到了 τ³ Banking，MiniSWE 上整体涨幅最大的 Hyperagents 反而在 sealed 上退了 2.1 点，AHE 退了 4.1 点，GEPA 也退了 2.1 点。论文自己的结论是：没有任何一种方法在基准、种子和切分三个维度上全面占优。

这跟摘要里那句"最大整体 pass@1 提升 13.5 个百分点"并不矛盾，但要放在一起读。后者是论文自己评测里的口径，目前还没有第三方复现；而排名频繁翻转、gate 和 sealed 出现负增益，恰恰是这类结果最该被追问的地方。

执行保真与故障注入

论文还花大力气做两组"别把环境噪声算成收益"的对照。第一组比较同一个未改动的种子 Agent 直接执行与经框架执行，三次重复取均值：Terminal Bench 2 上 Codex 的直接执行与框架执行一致率只有 82.0%，低于两次直接执行之间的 88.0%，超出部分 6.0 个点；而两次直接执行自己在 12.0% 到 18.9% 的任务上就不一致。论文明确写道，这些对照只刻画了执行波动，不能确立单次进化收益的统计显著性。

第二组是故障注入与边界强制，两个基准各七个场景、每个场景 30 次独立试验，共 420 次试验全部达到预期状态，没有一次让被污染的状态进入结果：终止在变异或评测中途、写入超出可变范围的改动、修改评测器文件、在变异期间访问 gate、sealed 和锚点证据、伪造归档结果，全部被拦下。

我的判断

这篇论文的诚实度高于它的分数。它没有宣称某个自进化方法更优，而是把"不同方法怎么被公平比较"这件苦活做成了可复用的基础设施。代码以 Apache-2.0 协议开源，要求 Python 3.12 以上，仓库页面显示 191 个 star 和 8 个 fork，仍处在活跃原型阶段。

仓库里还有一个技能进化演示：用同一个 Codex 模型和同一份论文提示，Gen 0 的 12 行极简 Skill 有 14 个文本元素溢出 SVG 画布，Gen 2 的进化版通过了确定性的渲染与几何检查，四张论文海报的确定性完成率从 1/4 变成 4/4。团队自己标注这是"一次代表性进化运行，而非广泛基准"。

真正的短板在边界：论文承认，这些保证依赖受信任的框架服务、宿主与文件系统保护，运行时指纹不能替代宿主或服务认证，框架本身也不含敌意代码，要更强的部署还得自己做独立认证、隔离和遏制。负责使用一节写得更直接——pass@1 更高不等于能安全部署，在银行基准上跑通更不等于适合真实金融决策；这个框架提供的是审计与回滚，不是遏制。

所以更值得关注的问题也许不是"哪个自我进化方法更强"，而是：当被优化的东西开始自己改自己的实验台时，谁来保证那把尺子不动？