参数高效微调（PEFT）方法（如 LoRA、QLoRA）已成为在消费级 GPU 上微调大模型的标准手段。其核心思路是保持预训练模型权重冻结，仅训练少量适配器参数，从而在有限显存下实现大规模模型的定制化。然而，PEFT 领域长期存在一个隐性瓶颈：适配器的表达能力与其参数量高度绑定——当参数量极低时，适配器被「锁死」在固定的低秩子空间内，即使延长训练时间也无法突破这一上限。 4月29日，一篇发表于 arXiv（2604.27308）的论文提出了 BoostLoRA，从梯度增强（gradient boosting）的角度重新审视这一问题。BoostLoRA 并非试图为适配器分配更大的秩，而是采用迭代训练+合并的策略，让极小参数的适配器通过不断吸收梯度残差来逐步扩展可表达的子空间范围。 其核心机制可理解为：每一轮迭代中，系统训练一个极小的「基础适配器」，将其输出残差交给下一个适配器修正，再将两者加权合并。新适配器的训练目标不是逼近真实标签，而是补足上轮残差。这一过程与梯度下降中的动量累积有相似逻辑，但作用在适配器层。最终效果是：原本只能表达「A」的固定低秩子空间，在3-4轮迭代后可以逐步逼近「A+B+C」等更复杂的函数映射。 实验表明，BoostLoRA 在多个基准测试中超越传统固定秩 LoRA，尤其在小参数 regime（秩≤4）下提升显著。这意味着未来可以在极低成本下实现更高质量的模型定制——一块 RTX 3090 即可微调原本需要 A100 的70B模型。 对行业而言，BoostLoRA 的贡献不仅在于数值提升，更在于它揭示了 PEFT 方法中「训练时间」与「表达能力」之间被忽视的全新关系：适配器的表达上限并非由初始化时分配的秩决定，而取决于我们愿意以何种方式累积它。对于资源受限的研究者和独立开发者，这是一个值得关注的开源方向——代码已随论文公开，可从 GitHub 获取。PEFT 领域正在从「静态子空间」向「动态累积」演进，BoostLoRA 是这一趋势的最新信号。