GPT-6 Astra 最近被 MIT CSAIL 的研究者测出一件反直觉的事:只给一份游戏说明,它能在一次回复里直接写出 20,486 个权重,得到的 Breakout 网络拿下 517 分,而同架构网络用 PPO 强化学习训练 5 亿步只有 25 分。英国 Alan Turing Institute 的四位研究者花三天做了独立复现和扩展,结论可以概括成一句话:本事是真的,但和你想象的不一样。
复现:写权重确有其事
三次重跑,Astra 的 Breakout 网络分别拿 514、550、307 分,与原帖报告的 517 同档。更关键的是排除背题:图灵所设计了两个从未公开的改版 Breakout,Astra 的网络照样打得好——不可能是从训练数据里背出来的网络。读权重方向,Astra 与 Claude Opus 5.5 给 12 个网络全部正确指认所玩的游戏,把权重打乱后立即降到随机水平。
代际对比更能说明问题。2025 年 11 月的 Opus 4.5 连策略代码都写不好;2026 年 7 月的 Opus 5 与 GPT-5.6 Sol 代码很强(Breakout 程序拿 580 分)但权重网络只有 30 分上下;到 9 月的 Astra,网络分终于保得住程序分的一半到三分之二。按论文的说法,「把程序翻译成权重」才是新东西,写代码这件事,上一代模型就会了。
网络像编译出来的程序
图灵所让两个模型独立把 Astra 的 Breakout 网络反编译回 Python:49,189 个游戏状态里动作全部一致,1000 局平均 502.9 分,和网络本体分毫不差。网络结构也像手写程序:20,486 个权重里只有 815 个非零,32 个第一层单元只用了 6 个,成百上千的权重幅值让单元像开关而不是平滑函数。反编译还发现它完全没有连接砖块的通路——这个网络根本没在管砖块。
反面证据同样干净:换成没有程序可编译的手写数字分类,Astra 写的网络平均只有 50%,还不如 82% 的简单模板分类器。能力边界画得很清楚。
读权重,读的主要是输入层
面对三个由图灵所自行设计并训练的新游戏,Astra 能说出棋盘上东西的位置(一张热力图给人类的信息也不过如此),但基本说不出游戏怎么运作。审计实验更直接:不运行任何代码、只读明文权重,Astra 在 10 次运行里 10 次挑出训练时被投毒的小语言模型,10 次里 7 次找出事后加训投毒的,32 例中识破 23 例恶意 adapter——但从未找到触发词,也没能描述出恶意行为。开源阵营差距明显:Kimi-K3.1-Pro 的 Breakout 网络只有 19 到 68 分(它自己写 Python 策略能平均 439 分),DeepSeek-V4-Pro 只有 2 到 12 分,Qwen3.8-27B 平均不到 5 分。
该泼的冷水
原帖的 PPO 基线可能偏弱——论文引用的调优 PPO 在 MinAtar Breakout 上能到 679 分,25 分这个对照组没那么吓人。tokenizer 是个旁证:GPT-5.2、GPT-5.6 Sol 与 Astra 对同批文本的 token 计数完全一致,Opus 4.8、5、5.5 也彼此一致,更像同一基座继续后训练出来的能力,而非新一代模型。成本上,MIT 原帖的 Go 网络在 0 次前向传播预算下就能赢更小的 PPO 网络,但论文作者提醒:用前沿模型当 agent 去造权重,开销可能超过从头训练。
独立佐证与所以呢
同期两篇独立论文从侧面支持「编译」这个视角。Fischetti 把权重空间编程里防思维循环的 LP 优化换成一次简单排序,在 Qwen3.5-0.8B 上 67.0% 对 67.4% 非劣效,说明那次编辑近似一个常数偏置;Golnari 与 Sanei 让分析模型只读拓扑摘要、用闭式岭回归(ridge)把变换写进前馈权重,不碰原始权重也能提升潜空间的类别纯度。
对可解释性研究,这里有个真实机会:LLM 写的网络自带设计说明,天然是机制可解释性方法的测试用例——Tracr 时代要人工用 RASP 语言编译,现在模型自己会写。只是别急着说 AI 学会了「训练」:它学会的是把想清楚的程序编进权重。炼丹还是炼丹,编译不是。(复现笔记:https://arxiv.org/abs/2611.21449,MIT 原帖:https://rikiyat.github.io/blog/weight-space-programming/)