一份几百到几千词的技能文档(skill),教模型怎么审代码、怎么分析抓包,现在越来越多被直接编译成 LoRA 适配器——省上下文、调用便宜,但从此你手里握着的是一块数字:读不了、改不了、也没法装到另一个 tokenizer 不同的模型上。文本技能"可以在信任之前被读一遍",权重技能没有这个待遇。arXiv 新贴出的论文 From LoRA to Language 问了一个反向问题:给定适配器和冻结的基座模型,能不能把技能文档写回来?

读权重:认得出是哪个技能,读不出它说了什么

论文先泼了一盆冷水。不同技能适配器的权重更新之间,余弦相似度高达 0.88;把共享成分扣掉,只剩 11.6% 的能量是这个技能独有的。权重并非没有痕迹:一个适配器 top-40 关键词里 73% 出现在它自己的文档里(其他文档只有 11%),检索编码器能把 37 个留出测试技能全部认对。但"知道是哪个技能"离"知道它说了什么"很远——学习出来的权重到文本通道,每千 token 文档只传得出约 1 比特信息,而光是从 11000 个候选里点名这个技能就要 13.4 比特。直接读数字这条路是死的。

跑起来,让它自己写:Executing Writer

有效的做法是让网络自己读。Executing Writer 把适配器挂上冻结基座,再在顶上训一个 43.6M 参数的小 writer 适配器,让适配后的模型把自己的说明书默写出来。在 37 个留出技能上,它恢复出 38.7%-43.7% 的关键指令(只读权重的最好方法是 22.3%);换成另一个技能的适配器,数字直接塌到 1.3%-1.5%,证明文本确实来自适配器;胡编内容占比也从其他方法的 54%-66% 降到 39%。在 41 个 SkillsBench 外部技能上,拟合到"会背诵文档"的适配器让它恢复出 rank 64 下 90%-93% 的正文,把恢复文档放回提示词,能还原原始技能 85%-91% 的任务增益——文档顶上,适配器的大部分效果就回来了。

只学行为的适配器才是常态,得换执行代理

论文划了一条关键界线:背诵型适配器训练时见过文档原文,恢复它是提取;行为型适配器只见过被文档塑造过的答案,恢复它是推断——后者才是实践中的常态。对行为型适配器,训练出的 writer 恢复率只有 1%-2%,甚至低于错误适配器对照组。作者于是换了武器:让一个执行代理在真实任务上分别跑基座模型和适配后模型,从两者行为不一致的地方把技能写出来。在 ALFWorld 家务游戏里,基座 Qwen2.5-7B-Instruct 胜率 25.4%,LoRA 达到 81.3%,代理读适配器后单次会话写出的技能恢复 58% 的 LoRA 增益,加上奖励循环能到 71%-75%。更扎心的是对照组:当 LoRA 的行为是"猜也猜得到"的常识,奖励循环不带适配器写得一样好——适配器里的信息,只在行为猜不到时才值钱。docker-compose 任务上的惯例技能,真实适配器写出 0.212 的精确匹配,错误适配器的所有会话全是 0.000。隐藏规则实验里,代理 12 次会话有 10 次把正确规则写进了技能文本,可 7B 小模型照着执行的比率仍然很低。

文档最大的优势:它哪里都能去

LoRA 离不开自己的基座模型,文档可以。从 Qwen2.5 的 LoRA 抄出来的技能,放进 Llama-3.1-8B 的提示词,把它在 ALFWorld 的胜率从 5% 拉到 55%;Qwen3.5-4B 从 2.2% 拉到 66.4%;在费用计算任务上,给 4B 模型写的技能把 Claude Haiku 从 0% 拉到 96%——后者根本装不上这个 LoRA。

所以呢

对技能市场和企业的适配器资产来说,这篇论文把"反编译适配器"从没人想过的问题,变成了可测量、可迭代的工程问题:接入一个来路不明的适配器前,可以先让它默写成说明书给人审一遍;技能跨模型流通,也不再必须重训。限制也写得明白:打分靠 LLM 裁判,485 个判定里两个裁判只对得上 272 个;主实验只有 37 个技能;会话间方差常常大于组间差距;小模型读得懂规则、执行不执行得了,还是另一回事。反编译的门被推开了一条缝,后面是数据量和耐心的问题。(论文: https://arxiv.org/abs/2611.09454)