调 LoRA 的人大多有个体感:rank 从 16 拉到 64 还有点用,再往上加就几乎不动了。11 月 12 日提交到 arXiv 的一篇论文给了一个不太舒服的解释:你配置的秩,和适配器实际用到的秩,根本不是一回事。佐治亚理工的 Tomohiro Sawada 与 Kartik Goyal 实测发现,标准 LoRA 训出来的更新矩阵,有效秩远低于配置秩——在 Qwen2.5-0.5B 上把 rank 配到 896,测出的有效秩只有 361,利用率约四成。

秩配了,但没用上

先交代实验设置:主体在 Qwen2.5-0.5B(base)上做 SFT,适配全部 MLP down_proj 层,固定 100 万 token 预算,数据是三个域的混合——45% GSM8K 数学题、10% WMT19 捷克语-英语翻译、45% Aya 豪萨语指令跟随,全程约 500 步。

论文用的尺子是 Roy–Vetterli 有效秩:把更新矩阵的奇异值归一化成谱分布,对熵取指数。奇异值完全均匀时,有效秩才等于配置秩;能量越集中在少数方向,有效秩越低。按这个口径,利用率还会随配置秩增大而往下掉:同一套混合域微调里,r=256 时有效秩 145,约 57%;r=512 时 265,约 52%。这种「吃不饱」还不均匀——24 个被适配的 MLP down_proj 层里,靠后的层往往比前层、中层浪费得更狠。结论一句话:配置秩是「可用容量」的不可靠代理,加 r 不等于真拿到更多适配器。

把有效秩从诊断变成训练目标

更有意思的动作是把这个测量变成正则项。直接优化 Roy–Vetterli 有效秩绕不开 SVD,论文改用 Rényi-2 有效秩做代理:它不需要显式构造更新矩阵,从迹统计量就能算,可微、稳定、免 SVD,乘上系数 λ 加进语言建模损失即可。效果直接反映在数字上:r=896 时,λ 取 0.01、0.1、1.0 分别把有效秩从 361 抬到 668、888、896。另一条更工程化的路线是范数约束重参数化(NB-LoRA 式):仅约束范数就把有效秩从 341 提到 504,Wiki 困惑度从 21.1 降到 20.1,已经吃到大头收益。

收益在哪,边界也在哪

主实验在 Qwen2.5-0.5B、Qwen2.5-3B-Instruct、Llama-3.2-3B-Instruct 三个模型上扫秩:λ=0.01 在所有不低于 16 的秩档位上,把平均 Wiki 困惑度压到无正则 LoRA 以下;训练困惑度要么改善、要么最多涨 0.02(仅一例例外)。分档看,r=128、256、512 时 Wiki 困惑度分别降 0.34、0.53、1.04,训练困惑度变化不超过 0.07;r=896 的主对比里,λ=0.01 和 0.1 还把训练困惑度从 4.77 降到 4.38 和 4.53。

两条边界同样值得记。其一,有效秩拉满不是最优:r=256 时 λ 从 0.01 加到 0.1,有效秩从 250.540 升到 255.777,Wiki 从 14.145 降到 13.975,但训练困惑度从 4.465 恶化到 4.559。其二,正则的时机很敏感:全程约 500 步的训练,从第 0 步就开罚,训练困惑度从 22.6 恶化到 24.7;拖到第 400 步才启动,则回到 22.4,遗忘上的收益还在。λ=1.0 的单次运行更极端:Wiki 困惑度比标准 LoRA 均值低 5.5,WMT 捷英困惑度从 15.02 降到 8.91,训练困惑度 4.69 仍在基线 4.77±0.09 的波动范围内——但只跑了这一次,参考价值要打折。

对照组还说明「学得快」和「记得住」是两回事:PiSSA 与 LoRA-XS 把混合训练困惑度做到 4.29 和 4.58(标准 LoRA 是 4.77),但 Wiki 困惑度 21.6 和 21.4,比标准 LoRA 的 19.6 更遗忘——拟合适配得好,不等于旧知识保得住。论文的奇异方向分析再补一刀:凡是把混合域拟合好的方法(连稠密微调也算),大部分奇异值质量都落在所谓「入侵维度」上;只有欠拟合的 VeRA、TinyLoRA、SVF 避开了。所以问题从来不是「有没有入侵维度」,而是主导方向把容量用在了哪。

所以呢

对天天调 LoRA 的人,这篇的启示很直接:别把 rank 当容量旋钮盲拧,先体检利用率——有效秩用迹统计量就能廉价估算,大 rank 适配器尤其值得查。要上正则,λ 从 0.01 起步、罚项晚点开,比一味猛拉有效秩更稳。论文自己的打折也要落地:收益依赖指标与执行细节,λ 需要按任务调;实验主体是 0.5B 级模型、100 万 token 预算、单张 A40 的小尺度设置,而且是未经同行评审的预印本,更大模型上是否成立要看后续复现。

论文:https://arxiv.org/abs/2611.17191
代码:https://github.com/tomohiro-sawada/lora-capacity-utilization