训练是连续的，部署是离式的。梯度下降需要光滑的损失面，所以权重被建模成实数；可到了硬件上，每个权重都只是一段固定格式的比特。中间这段落差，就是这几年模型压缩的主战场。
有意思的是，权重格式的演化一直在朝同一个方向挤：组量化让一组权重共享一个 scale，块浮点格式让一块权重共享一个指数，稀疏格式让归零的权重提前结束描述，码本方法让一整块权重指向共享表里的一个条目。每一步都是"把一次决策存给很多个权重用"。但每个格式只共享一种固定层级的决策，层级还是事先定死的。
一棵树把所有压缩方法收成同一种编辑
ITMO 大学 LEAD Lab 的 Ammar Ali 与 Stamatis Lefkimmiatis 提出 TWIG（Tree-structured Weights with Inherited Gates）。在他们的表示里，每个权重是若干个小离散决策串的末端：一个符号、一次按 2 的幂的平移、一个归零开关、一个指向共享表的索引。属于同一组的权重共享路径的上半段，每个决策被它下方的所有权重继承——存一次，用一次。
论文最漂亮的一条结论是双向的：今天在用的各种格式都是"浅"的 TWIG，不需要额外多花一个 bit；反过来，任何训练好的网络都能写成 TWIG。于是在同一棵树上编辑就够了——剪枝是把叶子换成零状态，量化是砍掉尾数位，低秩是拆成两个树的乘积，码本是让节点指向共享子树。论文整理出七种编辑，主流压缩方法基本是它们的组合。论文：https://arxiv.org/abs/2610.31931
16 bit 变 12.13 bit，而且一位不差
在 LLaMA-3-8B 上，BF16 权重按每 64 个权重共享一个指数、每权重 4 bit state 加 8 bit leaf 存下来，平均 12.13 bit/weight，比 16 bit 少 24%，并且能逐位还原成原来的 BF16 值——不是近似，是 bit-exact。约 0.01% 的权重（指数比组内最大值低 15 以上，含精确的零）被单独放进一张短旁表，成本已经算进去了。作者的 CUDA kernel 用字节并行的整数运算解码，直接喂给 tensor core，速度跑到树字节带宽下限的 97%。
少掉的字节直接换成 token
LLM 生成受内存带宽限制，不是受算力限制，所以省字节就是省时间。论文报告：用 vLLM 端到端跑 Llama-3.2-1B 和 Qwen3.5-9B，batch 1 快 1.23 倍，batch 8 快 1.17–1.21 倍，batch 32 约 1.0 倍（那时已经算力受限）。A100 上 LLaMA-3-8B 第 15 层的矩阵-向量乘比 cuBLAS 快 1.05–1.51 倍，其中"纯格式收益"的上限是 16/12.13 ≈ 1.32 倍。
官方仓库 README 给了 Qwen3-8B 在单张 A100-40GB 上的另一组数：GPU 里的权重从 15.3 GiB 降到 12.8 GiB，KV cache 每 token 从 144 KiB 降到 112.5 KiB，同样 0.85 的 GPU 预算下 KV 能装的 token 从 119K 涨到 178K，decode attention 比 FlashAttention-2 快 1.21–2.46 倍。仓库是 Apache-2.0，vLLM 插件开一个开关就能用：https://github.com/ammarali32/StateTree-Representation
不训练，3.25 bit 打赢同流水线的 GPTQ
论文用一个覆盖整个 LLaMA-3-8B 的动态规划，给每个矩阵从一张菜单里挑编辑，菜单里混着量化、剪枝和低秩，不用旋转也不用 trellis。3.25 bit/weight、零训练的结果是：WikiText-2 困惑度 6.95、C4 10.93、FineWeb 9.76；同流水线最强 GPTQ 配置是 8.09、12.72、11.81；FP16 参考值是 6.14、9.44、7.85。换句话说，GPTQ 相对 FP16 剩下的那段差距被收掉了 58%。
压完还能再修一次
状态怎么选这个问题，论文把它翻译成一个高阶玻尔兹曼机的基态问题——这恰好是退火机和量子优化器擅长的一类。他们管这套做法叫 Ising healing，用受量子启发的经典求解器 ballistic simulated bifurcation 跑。Qwen2.5-1.5B-Instruct 无训练压到 2.44 bit/weight 之后，40 步只动了 46,239 个码，约占全模型码的 0.004%，验证集 KL 从 0.491 降到 0.371，GSM8K 从 13.95 涨到 21.83，MMLU 从 48.3 到 49.6。论文自己也标注了：GSM8K 只有 1319 道题，95% 区间约 ±2 分，而且是单次运行。
给烧死在硅片里的模型省加法器
当权重在流片时就固定下来，乘法器就变得很贵——几乎每个权重都值得一个专属的常数乘法器。TWIG 的决策全是 2 的幂，乘法退化成移位，权重层于是接近纯导线和加法器组成的电路。实测取 LLaMA-3-8B 的五个线性层、128 条 FineWeb 校准序列，在同等层级误差下，扁平树比 GPTQ 少用 9–15% 加法器（3 bit 和 4 bit 的典型矩阵），离群严重的矩阵多省 20–55%；若只数权重本身的数字，典型矩阵 4 bit 少 6–7%、3 bit 少 9–11%。有个反直觉的细节：共享指数能省 bit，但不省加法器，所以最扁平的那棵树反而在加法器上表现最好。
我的判断
真正值得留意的不是"省了 24%"，而是这篇把格式、压缩、电路、求解四件长期分属不同领域的事，压进了同一个对象。过去它们各有各的术语和工具链，谁也不太能直接对话；现在它们成了同一棵树的四种读法。另一半价值在于可落地：论文性质是证明过的，但作者自己也说测量只是"在选定模型和层上的初步证据"，整个网络的电路面积与能耗留给后续论文，加法器数量只是电路面积的一阶代理而非面积本身，仓库当前版本也还不支持 MoE。
最后的野心在下一步：既然状态本身是离散的，就可以在这个空间里直接训练，让训练出来的对象就是部署出去的对象。到那时，训练和部署之间那道落差就不再是工程修补题，而变成表示问题本身。
所以问题是：如果格式、压缩、电路、求解最终只是同一个对象的四种读法，那"模型部署"这件事，到底算工程问题，还是表示问题？