6 月 12 日,一条美国出口管制指令把 Claude Fable 5 停了 19 天,Anthropic 当天发布声明证实。哈佛大学研究者 Yining Hua 盯上了这个意外:人和项目都没变,只有模型变了——这正好是一场没人能设计出来的自然实验。论文追踪 297 名 Fable 5 用户的 GitHub 产出,结论有点扎心:用不用 SWE-Bench Pro 领先 10.8 分的模型,活儿干得一样多。
一场禁令凑成的实验
识别模型靠 Claude Code 的默认行为:它会在 PR 里留下 Co-Authored-By 行标出模型名。作者用 GitHub Search API 收集这类公开 PR,抽查 200 个,描述里的模型名与提交记录的吻合率在 96% 到 99% 之间。处理组是发布后 3 天里用过 Fable 5 的 297 人,对照组是一直用 Opus 4.8 的 8908 人,用开发者固定效应加日历日固定效应做双重差分。按论文引用的两张系统卡,Fable 5 在 SWE-Bench Pro 拿 80.0%,Opus 4.8 是 69.2%,差 10.8 分。切换确实发生了:禁令前 82.3% 的 PR 标着 Fable 5,禁令期只剩 0.9%(74.6% 改标 Opus 4.8),恢复后也只回弹到 26.9%。
三个数字全都平了
有 Fable 5 的日子里,7 天合并率只比禁令期高 1.4 个百分点(95% 置信区间 -1.4 至 +4.3),不显著;把发布前几周当安慰剂检验,是 -2.6。再看 2026 年 2 月到 9 月 Opus 与 Sonnet 家族的五次升级:1208 名开发者的 15442 个 PR,换新模型后合并率 -0.9 个百分点(-1.9 至 +0.2);锁到同一开发者同一仓库,反而是 -1.2(-2.3 至 -0.02),显著为负。六次能查到分数的升级,新模型高出 5 到 18 分,六个点估计里五个是负的。每周合并 PR 数 +2.4%(-4.9% 至 +10.2%),自动检查失败率 +0.3 个百分点,全都不显著。禁令期大家也没慢下来:人均每天开 PR 从 4.8 到 5.0 再到 5.2。
为什么:天花板加任务错配
升级前一周,这批人 94.5% 的 PR 本来就能在 7 天内合并,77.1% 一小时内合并,83.8% 的人所有 PR 全部合并——合并率早就顶在天花板上。更要紧的是合并意味着什么:2019 个抽样 PR 里,95% 是作者自己点合并的,90% 没有任何他人批准,中位合并时间不到半小时。合并只说明「作者自己觉得可以了」,不是质量认证。论文作者的推测是:开发者交给 agent 的任务,老模型本来就能做。论文引用的 Anthropic 内部调研里,132 名工程师过半只能把 0 到 20% 的工作完全交给模型。基准也错位:METR 今年 3 月的独立评估给了佐证——很多能通过 SWE-bench 的 PR,维护者根本不会合入主线。
该泼的冷水
合并率不是生产率,更不是代码质量,它只是「开发者决定留下这个改动」的公开信号;只有约 1% 的 Claude Code PR 会在描述里写模型名,样本有选择偏差,作者在全量 PR 上重跑后方向一致;19 天的窗口让区间偏宽,但五次升级的窄区间结论相同;升级分析是观察性的,自选新模型的人本可能更会用新工具,这个偏差方向向上,即便如此也没涨。另外这是单作者 v1 预印本,未经同行评审;论文还指出 Terminal-Bench 2.1 上 Fable 5 只领先 1.6 分,主要原因是五分之一的运行在安全拒答后回落到了 Opus 4.8。
论文结论一句话:基准涨 5 到 18 分,没有出现在开发者真正留下的工作里。下次发布会再弹出新高分,不妨先问一句——这个分数,会出现在我的合并记录里吗?
(论文: https://arxiv.org/abs/2611.23216 ;Anthropic 指令声明: https://www.anthropic.com/news/fable-mythos-access ;METR 独立评估: https://metr.org/notes/2026-03-10-many-swe-bench-passing-prs-would-not-be-merged-into-main/ )