大模型即服务(LLM-as-a-Service)模式已成为主流,但基础模型频繁更新让下游LoRA适配器面临两难:重新训练成本高,直接迁移到新基座又容易掉点。arXiv新论文ReLoRA提出一套知识复用框架来解决这个矛盾。 ReLoRA包含两步核心优化:第一步用贝叶斯优化融合旧适配器知识与新模型的演化信息,生成兼容性更高的初始化点;第二步采用先强后弱的正则化微调策略——先用高强度正则快速将适配器拉回高性能区域,再用低正则进行任务精细化。 实验数据显示,ReLoRA相比从零训练减少89%的重新适配时间,同时精度提升4.6%。该工作的核心价值在于承认了一个现实:不是每个下游服务都有能力在基础模型更新后从零微调。 ReLoRA本质上是把旧适配器当作新任务的先验知识而非简单丢弃。对拥有大量下游模型的厂商(尤其是多租户SaaS场景),这意味着能以更低成本跟进最新基座。 对从业者的启发是:微调资源有限时,与其每次从零训练,不如思考如何把历史适配器的积累知识迁移到新模型。ReLoRA框架已开源,详见arXiv:2606.02606。