大模型写代码、做摘要都在行,一到多位数精确算术就露馅。业界通行的解法就两条:外挂工具,让模型学会调计算器;或者微调,喂上万道算术题。11 月 19 日 arXiv 挂出一篇单作者预印本(https://arxiv.org/abs/2611.26450),作者 Tanmay Sah 走了第三条路:不用一个训练样本、不挂任何运行时钩子,像装配电路一样,把一套精确的算术单元直接编译进预训练模型的权重,论文明说这是针对「预训练语言模型在精确多位数算术上依然不可靠」这个老问题。

焊的是电路,不是梯度

论文把这套做法叫零梯度电路嫁接,靠三个解析机制落地:其一,对 bias-free SwiGLU/GeGLU 层设计两层 Mellin-GLU 求积,把每个 token 未知的 RMSNorm 缩放变成沿对数间隔门网格的平移,动态范围超过 250 倍,并给出 IEEE 754 误差界;其二,用带符号 Chebyshev Indefinite-RoPE 自沉注意力和无记忆 SiLU 反对称 GatedDeltaNet 位移做跨 token 尺度抵消;其三,把残差宽度从 d 扩到 d+K,配 sqrt(d/(d+K)) 范数补偿、Base-1000 规范 BPE 发射和差分式 (+254,-256) 绑定输出层。一个五阶段自动编译器据此合成 4-8 位带符号加减乘电路,常数 TC^0 深度,顺带覆盖 3 文字布尔电路(N=1,728)和 5 位 Majority/Parity,并对 42 层 Gemma 4 E4B 做了架构审计。改动规模按论文自报:IBM Granite 4.2 3B 上 107 万-133 万个非零权重,占比不超过 0.036%;Alibaba Qwen 3.5 4B 上 225 万-239 万个,不超过 0.057%。

论文自报的成绩单

6 位数算术(N=1,200,BF16):Granite 达 99.17%,Qwen 达 100.00%,论文注明配 FP32 sidecar 后为 100%;句中续写保持 98%-100%。对照组是同底座 LoRA 微调(12.8K 样本、约 600 万参数、400 步 AdamW):算术只拿到 42.2% 和 61.7%,句内续写为 0%。显存侧,因子化 block-sparse sidecar 把 A100 占用压到 7.89/10.65 GiB,INT8/INT4 加 FP32 sidecar 下为 4.60/8.14 GiB,按论文口径省 42%-44% 显存、2K prefill 延迟降 1.96-2.67 倍。能力保持按预注册协议测:14/14 个超过 2K token 的 Tango 长文本切分(N=4,392)全过;域外探测 0/11,134 触发,域外激活 0/10,534,下一 token KL 偏移小于 0.002 nats。论文还报了一个对照:不做任何梯度校准、纯权重解析的 0 token 方案,还能保留 96.3%/97.0% 的算术成绩。论文还称编译器、两份权重补丁与预注册协议脚本都附在随文发布的代码库里。

该泼的冷水

第一,单作者、v1、没有会议信息,所有数字都是论文自报,暂无第三方复现。第二,代价真实存在:按论文自己的消融,早期一位数发射版本(K=1,043)把 GSM8K 前 60 题从 68.33% 压到 36.67%,19 道回退题里 18 道其实算出了精确 ALU 输出,坏在 Granite 的 BPE 把数字读错了,论文进一步归因:9 道是数字被切成跨段,5 道是一位数 ID 被当小数读,4 道是高惊异序列;换成 Base-1000 规范编码(K=1,140)后修复到 70.00%-76.67%。这从侧面再次印证 tokenizer 的数字切分是算术翻车的老根源,Singh 与 Strouse 的独立研究(https://arxiv.org/abs/2402.14903)早有系统结论。第三,电路只覆盖 4-8 位定长输入,论文明说无限长输入与停机循环超出单趟 TC^0;浮点、逗号、代码这类域外语法,系统选择弃权而不是硬算。第四,失败也有结构:论文附录把 14 个失败样本归成三类,8 个属于底模数字续写惯性(其中 7 个出自 Qwen),5 个是 Granite 的 BF16 进位舍入,1 个是无 BOS 起始符的解析弃权。

所以呢

这篇论文的信号不在那个 100%,而在路线本身:权重正在变成可编程的基座。Hu 等八人团队的 weight-space programming 研究(https://arxiv.org/abs/2611.09382)在 Qwen3.5-0.8B 与 9B 两个尺度、七个基准上跑了 16 条编辑轨迹,证明高度局部的权重干预就能带来大幅收益,这一篇进一步说明连梯度都可以省掉。反过来也是提醒:你能焊进去的电路,别人也能——论文自己都引了编译网络后门 ImpNet 的先例。下一个二手模型到手,你查得清里面装没装别人的 CPU 吗?