系统提示词几乎成了每个 AI 产品的标配。一项被论文引用的分析统计了 1309 条系统提示词,超过 90% 里面写着角色或身份设定——「你是一位资深律师」「你是一个严谨的数据库管理员」。但提示词写了,模型就真的进入角色了吗?这篇论文(arXiv:2611.15989)把它拆成了一个可测量的问题。
角色确实存在,而且能读出来
作者挑了六个职业角色:行政助理、运动员、并购律师、法学教授、通用教授、收银员。选法很讲究,法务与学术这几组是故意留下的难例——并购律师和公司法教授同属公司法领域但立场不同,通用教授和法学教授立场相近但专精不同。
提取方法很直接:同一个问题,分别让模型在「带角色提示词」和「默认提示词」下回答,拿两组激活做差,差值就是这个角色在模型内部的方向。每个角色独立抽取 30 次,每次 90 个问题(15 个本行问题、75 个跨行问题,两类等权)。评分交给 gpt-4.1-mini 裁判,角色贴合度 0 到 3 分,连贯性 0 到 100 分。
读出来的结果很干净。同角色两次抽取的余弦相似度,Qwen 上是 0.898 到 0.984,Llama 上 0.907 到 0.969;随机对半抽取再合并,余弦在 0.993 以上。难分的那几组也有真实间隔:并购律师与法学教授的夹角在 Qwen 上是 48.8 到 53.1 度,Llama 上 37.1 度;通用教授与法学教授是 54.4 到 58.1 度和 41.9 度。每一次抽取与自己角色中心点的余弦都高于与其他角色的余弦,比例是 100%。同一角色用本行问题和跨行问题分别建向量,同角色平均余弦 0.79(Llama 0.77),不同角色只有 0.37(Llama 0.55)。
也就是说,角色在模型内部确实有独立表示,不只是一句提示词在输出端做戏。
但注入之后,并没有更好用
作者接着把方向加进残差流,看模型会不会更像那个角色。Qwen 上,温度 1.0、注入强度 0.3,角色表达成功率从 9.3% 升到 32.0%,提升 22.8 个百分点(每组 540 对答案,六个角色汇总)。角色特异性是 24.7 个百分点;让裁判在六个角色里盲猜哪个被 steer 了,猜中率 36.9%,未 steer 时 17.0%,随机基线 16.7%。同时替换成同尺寸随机方向,效果与未 steer 没有可辨差异——起作用的是这个具体方向,不是「往里加点东西」。
问题是,和一句角色提示词比,向量就没那么能打了。Qwen 上 steer 减 prompt 的差是整体 −2.6 个百分点,本行问题上 −24.4 个百分点(55.6% 对 80.0%)。提示词在本行占优,论文给了一个没去验证的解释:角色提示词会明写这个角色怎么思考本领域。Llama 上差距更大,各个设置下提示词都领先大约 19 到 20 个百分点;Llama 的向量只在温度 0.0 时有效(+7.0 个百分点),温度 0.5 和 1.0 就与零不可区分了。
30 轮之后,角色照样会掉
多轮场景才是提示词的痛点。论文引用的另一项研究指出,系统提示里的指令大约在八轮对话内就会漂移。论文用 30 轮对话测角色的持久性(每个条件 18 组),Qwen 上所有条件都在衰减:纯 steer 的衰减速率与提示词不可区分(p=0.071),提示词加向量起步最高但掉得更快(p=0.006),最后落回提示词的水平。第 26 到 30 轮纯 steer 反而领先提示词 13.3 个百分点(p=0.044),但论文自己说这个窗口是看到首批结果之后才选的,只能算提示性证据。Llama 上纯 steer 全程低于提示词 8.5 个百分点,衰减更慢(p=0.049),可它第一轮就只有 11.1% 对 44.4%,属于「没那么多可掉」。
真正有用的组合,是提示词加低强度向量
把向量当补充而不是替代,结论就变了。低强度 0.15 叠加在提示词上,在五个保持连贯的设置里全部把成功率抬高 5.0 到 7.8 个百分点,提升主要来自跨行问题,角色特异性也涨 5.9 到 11.6 个百分点。代价是连贯性:Qwen 上从 95.3 掉到 91.7。
还有一个反直觉的拆解。角色向量长度的 36% 到 84%(平方长度)躺在六个角色共享的一个方向上——那部分更像「助理感」,而不是具体职业。只保留角色特有的余量,steer 增益是 16.9 个百分点,共享部分只贡献 4.4 个百分点。
机制上这条线不是孤例。Anthropic 的 persona vectors 工作用的是同两个模型,同样靠对比带特质和不带特质的激活来提取方向;EMNLP 2025 Findings 另一篇独立工作构造了 29 个角色向量,用激活相加和方向消融两种干预,发现能提升本行任务表现,还带出意外的跨行收益。后者衡量的是基准成绩而不是角色贴合度,两篇并不冲突,但共同说明「角色能压成一个方向」不是单篇论文的孤例。
所以呢
这论文真正扎人的地方不是「向量没用」,而是一个更别扭的结论:角色在模型内部可读,却不因此可控。你能把它测出来,不代表你能用它改。
落到实践上两句话:多轮产品别指望用向量替代提示词,提示词的漂移是结构性的;想用向量,就用低强度当加成项,并且单独测它的连贯性成本。至于角色到底有没有被「装进去」,别只盯着输出像不像——论文自己的做法是同一条答案跑两个镜头,激活层和输出层都过一遍,两边对不上才算数。
如果你在给产品设计「专家人设」,你会选更长的系统提示词,还是更硬的激活干预?