11月2日,一篇题为「Sparks of Weight-Space Programming」的论文在AI圈刷屏:GPT-6 Astra号称仅凭原始权重就能判断一个神经网络是干什么的,还能徒手修改0.016%的权重,把Qwen3.5-0.8B的MATH-500成绩从7.9%拉到48.1%;还宣称不用任何环境反馈,就能从零写出胜过PPO训练1亿步网络的小游戏网络。24小时内,两位资深开发者交出了方向完全不同的检验:一份证明你笔记本上的27B模型也能做慢速版,另一份指出这波病毒式传播在方法学上严重误导。
笔记本上的复现:27B也能读权重
Simon Willison没有调API旗舰,而是把17GB的Qwen 3.8 27B量化版装进LM Studio(默认8192 token上下文直接报错,换长上下文才能跑),再用论文GitHub仓库里公开的prompt做实验:只看权重浮点数,猜这个策略网络玩的是Breakout、Pong、Pac-Man还是Freeway。
结果:识别Pac-Man用了46分12秒,置信度72%;Breakout 52分25秒,置信度88%;Pong 1小时4分54秒,置信度75%;Freeway判错。换Kimi K3.1 Pro走OpenRouter,9分41秒、19,493个推理token就猜中Breakout。
Willison的态度很克制。他说模型的推理轨迹「几乎不可读」,但一个有经验的人类拿纸笔花足功夫也能做到;他「不准备宣布源代码时代已经终结,未来是不可理解的机器以不可理解的方式改写自己的权重」。他还认为,「无工具读权重」其实比「改权重提分」是更有趣的问题。
拆解:十组实验,三种手法
同一天,spaCy作者Matthew Honnibal发文,标题直译过来就是《「Astra能读写权重改进Qwen」这帖严重误导》。
他把原帖的10组实验按方法学拆开列成表:真正满足「只看原始权重、不写代码、不跑网络」的只有实验1、2、4,对应的网络小到只有17K-172K个权重;所有涉及真实语言模型的实验都用了Python;而作为头条的Qwen数学改进:Astra在其权重里找到的推理循环,其实是Qwen自家模型卡就警告过的问题,这次实验还让模型先跑了最多50个batch的练习题。从零手写游戏网络那组,也只在Breakout上赢过PPO-500M(517比25),在Seaquest和Asterix上都输了;同一套权重修复手法搬到Gemma 3上直接失败。
Honnibal的类比很毒:魔术师表演同一个戏法会用三种不同手法,观众以为只有一种技术,于是每次都「证伪」了你的猜测。但他同样明确肯定:Qwen那组结果是「人类ML工程师能做的工作」,一两年前的模型会全部失败——问题不在结果真假,而在把三种技术打包成一种「深度能力」的叙事方式。
所以呢
两篇博文合起来才是完整的故事:能力是真的,边界也是真的。本地27B可以完成慢速版的权重阅读,说明这件事并不专属于旗舰API;而「原生理解权重」的统一叙事,目前的证据只覆盖到十几万参数的小网络,以及一个被拆解过的头条结果。
非凡的声明,需要复现和拆解来定价。这一次,社区用24小时把账算清了。下次再看到「模型原生改写权重」的标题,先问三个问题:网络多大?用没用Python?跑没跑练习题?
参考链接:Willison复现原文;Honnibal拆解原文;原论文。