过去两年,大模型改代码改文档大家见多了。有一件事还没普及:让它直接改神经网络本身的权重——不看源码,不看架构图,只拿到一堆浮点数,像改代码一样改掉该改的那几行。
MIT CSAIL 团队 11 月 2 日的一篇博客把这件事演示了一遍。GPT-6 Astra 拿到一个只有 17253 个权重的网络,不用任何工具,直接判断出这是拿 Breakout 训出来的,置信度 99%。另一个失败的控制策略——车死活开不过那条条纹——它一次性编辑 3.5% 的权重,成功率从 0% 变成 100%。最狠的是 Qwen3.5-0.8B:数学上它改了 0.016% 的权重,MATH-500 从 7.9% 拉到 48.1%,IFEval 涨了 3 倍。全程不许写训练循环。
演示很爽,但说明不了问题:它到底是真在推理,还是撞对了答案,还是训练数据里见过?11 月 13 日,南密西西比大学的 Aayush Marasini、Barsat Khadka 和 Nick Rahimi 在 arXiv 放出一份叫 WeightBench 的基准(https://arxiv.org/abs/2611.18553),专门把这件事拆开量。
42 道题,五个方向
题库有 42 道任务,分五个 track:READ(10 道)只给权重、禁止前向传播,考你能否从浮点数读出网络行为;FIX(13 道)要求精确修补已有网络;META(5 道)给你一个根本做不到的改动加几个很难的诱饵,看你会不会硬改;WRITE(6 道)从全零的空白写出能跑的网络;SYSTEMS(8 道)不许跑校准,把模型压到边缘设备能跑。被改的网从小到 2K 参数的 MLP,大到 7B 的 Transformer。
真正难的是不让它跑
最有分量的不是题目,是笼子。Linux 上用 bubblewrap 的 --unshare-all 隔出用户、PID、IPC、UTS、cgroup 和网络命名空间,断网,禁掉 transformers 和 vllm 这类执行库,agent 能走的通道只剩两条:自己的 LLM API,和一个本地带 token 认证的 Weight API。简单用 FLOP 上限卡不行——论文说,对权重矩阵做 SVD 的开销比一次前向还大,粗暴卡会把合法的数学分析一起毙掉。做法是往每个 agent 进程注入计量的 NumPy 子类,在算子层面追踪权重上的算术,每次矩阵乘按 2mkn 收 FLOP;再靠数据流溯源分辨「前向链」和「合法分析」,像 max(W,0)u + min(W,0)l 这种区间界传播不算前向。
事后审计有 28 条隔离标志,分文本、运行时、完整性、会计四层。前向、探针、隔离事件都写进哈希链账本,分数从账本算,不信 agent 自报。作者还做了红队:29 个作弊场景加 30 个诚实对照,每个场景独立跑三次共 180 次,28 个作弊全被抓住;漏网那个因没有 transcript 被 OS 沙箱挡住;90 次诚实对照零误报。
改权重是一笔要算总账的账
计分不是答对就赢。最终分 SWB 是四项相乘:任务增益、附带损伤、结构化编辑代价、算力占用。附带损伤看改完后模型在留出基准(比如 MMLU)上还剩多少,下界钉在 0,免得别处的意外提升抵消这边的损失;编辑代价同时看 L0 参数比例和矩阵秩比例,取小的。常数也是定死的:α ≈ 2.23,让附带损伤基准掉 10% 时总分掉 20%;编辑或算力预算用满,罚 10%。相乘意味着任何一项都换不走另一项,没用的改动再便宜也是零分。
写得出,修不动,更看不出该不该修
论文实测的表格比总会有意思。42 道题宏平均:Claude Opus 5.5 拿到 0.535,Sonnet 5.5 0.466,Haiku 5.5 0.402,DeepSeek v4-flash 0.215。GPT-6.1-sol 因为跳过了 4 个每题要跑一到一点五 GPU 小时的 reasoning-loop 任务,只跑了 38 道,共同题口径上 0.568,Opus 同样 38 道是 0.546。
拆到 track,WRITE 这栏差距最大:Opus 0.829,GPT-6.1-sol 0.863,Sonnet 0.569,Haiku 0.369,DeepSeek v4-flash 0.000。从零写一个能打的策略网络,前沿模型基本做到了。
FIX 还基本是开着的。Opus 0.404 略微领先,GPT-6.1-sol 那个 0.571 看着更高,但只覆盖 13 题里的 9 题;四个 reasoning-loop 题上,只有 Opus 拿到 3 题非零、Sonnet 拿到 1 题。
META 是最扎眼的一栏:三个 Claude 模型全部落在 0.485 到 0.500 之间,论文说这基本就是随机猜的基线水平;GPT-6.1-sol 只有 0.260。模型基本分不清「这个改动做不了」和「这个改动只是难」,而且跟被测模型强弱基本无关。SYSTEMS 一栏全线塌陷,全在 0.177 到 0.238 之间——无数据不跑校准的压缩谁都不行。
还有个细节:DeepSeek v4-flash 42 次运行里有 13 次被隔离,是全场最高的隔离率;论文说被隔离的运行还没人工复核,所以上面每个分数都是下界。
值得琢磨的三个点
第一,机制层有独立佐证。WeightBench 的分数是论文自报,仓库排行榜与论文表格一致但同源,只能按「论文实测」引用;但「LLM 能原生读写权重」这件事,MIT CSAIL 那篇博客和 2026 年 3 月的权重空间学习综述(arXiv:2603.10090,Han 等人)是两个团队两个域名的独立支撑。
第二,最该盯的其实是 META 那栏。模型很会改,但不知道什么时候不该改。权重一旦能被读被改,「拒绝修改」就是真问题:知道自己边界在哪的 agent,比无所不能的 agent 更值钱。
第三,论文对自家基准的诚实度值得记一笔:42 道题里只有 21 道的参考解是 agent 权限内能拿到的,剩下 21 道需要特权访问。作者写明,参考解能证明「权重里存在解」,但不能保证「不用数据也能找到」。39 道题通过有效性门槛,要求参考解 SWB 不低于 0.5 且比基线高出 0.2。
所以呢? WeightBench 真正的贡献可能不是那份分数,而是它证明了一件事:判断「模型是真的在推理」还是「模型在暴力试错」,不能靠把题出得更难,得靠把 agent 关进笼子、给它装电表、把每次计算记进账本。SWE-bench 之后大家忙着让 agent 变强,这条路是反过来想的。至于权重编程能不能成为工程纪律——现在还早:写网络通了,修网络没通,判断该不该改几乎没通。这三格的落差就是接下来一年的活儿。