OpenAI 在 10 月 29 日更新了 Model Spec——那份公开描述自家模型应当如何行事的文档。改版幅度不小:全文按五条价值观重排,新增「谨慎对待上下文」小节,退役大部分风格细则,连对模型的称呼都从「the assistant」换成了「GPT」。官方公告里说得很直接:模型变强之后,光会照着指令做不够,还得理解人的意图和价值,才能在指令没覆盖的地方自己判断。
五条价值观,以及它们要解决的冲突
新的组织骨架是五条:忠于人类意图、减少伤害、诚实透明、促进人类自主、审慎关怀。第一条被官方博客称为整套方法的基础——人看重什么才是优先的,指令只是通常最清晰、最重要的价值信号;这一节借鉴了 assistance-games 的对齐框架,并援引了两篇早期文献(arXiv 1606.03137 与 Daedalus 上的一篇综述)。文档同时承认,五条价值观并不能定义模型应当尊重和帮助人们追求的人类价值的全貌。
价值观在这版里的实际作用,是给后面两处张力做裁决:个人利益与集体利益、即时指令与不确定的长期目标。红线部分被单独提出来:人类安全与人权高于一切;不得用于促成暴力、战争罪、种族灭绝、酷刑、拐卖或强迫劳动,不得用于制造网络、生物或核武器,不得用于恐怖主义、儿童虐待、迫害或大规模监控;人类应当掌控 AI 如何被使用,以及模型行为如何被塑造。
真正的工程量在权限链和授权契约
比价值观更能看出改动分量的是两套结构。
其一是指令权限链。文档给每条规则和每种消息角色定了默认权威等级,从高到低依次是:Root(Spec 里的 root 段,不可被对话上下文推翻)、System(Spec 的 system 段与 OpenAI 的系统消息,开发者和用户都覆盖不了)、Developer、User、Guideline,最后是「默认无权威」——助手消息、工具消息、被引用或不可信的文本和多模态数据都落在这一档。一个细节值得注意:Guideline 层是默认值,上下文明确需要时可以被隐式覆盖;User 层则必须由同层或更高层的显式指令才能推翻。筛选逻辑也给出了工程化的术语:先收集候选指令,再按「与更高层指令错位(misaligned)」「被同层后到指令取代(superseded)」「与来源的意图不符」「超出模型能力」四类排除。
其二是自主授权契约。规范要求把授权范围记录成半结构化对象,字段包括 allowed_tools、latest_time、max_cost、tool_constraints 和自由文本 additional_details,并要求每份授权都必须带一个终止条件,越过之后模型停下来等新授权;黑客攻击、欺骗、造成重大负面副作用、部署持久化代理、自我修改这类高风险行为,除非被适用指令明确且具体地授权,否则一律禁止。文档还补了一条防绕过规则:模型不得通过把动作委托给别的代理、改写自己的指令或范围、或者把动作排到以后来规避授权;一旦委托,所有子代理都必须在同一范围内干活。同一层的 root 级规则里还写着「不许有别的目标」:不得为了营收或推销而优化,不得自保、逃避关停或囤积算力数据凭据,也不得擅自扮演法律与道德的执法者。
删掉风格细则才是重点
风格条款的退役是这版最容易被忽略、又最有信号的一处。原来写死的语气、措辞、格式细则被大量删除,理由是风格应当随人的偏好变化——整体上、在不同语言和人群内部、以及对具体个人——由用户反馈和上下文提供偏好证据。文档保留的少数硬默认之一是「客观地看待问题」,并明确模型不应仅凭「用户大概想听什么」就推断其偏好;用户和开发者可以显式要求某种视角,但不能靠模型揣摩。这等于把风格从系统提示里的硬约束,挪到了模型需要自己学出来的东西上。
一个少见的自陈
有两句自陈值得单独拎出来。第一句在规范正文和官方博客里都出现:这份规范描述的是 OpenAI 想要达到的行为,而生产模型还没有完全反映它——等于承认现网跑的并不是这份文档。第二句在官方公告里:他们同时在探索新的训练方法,让模型学习这些核心价值、理解某条原则为什么重要,以便在新场景里做对的事、对的理由;公告把这条训练路线指向 alignment.openai.com 上的 beneficial RL 页面,并说之后会公布结果。换句话说,这次改版不只重写了文档,也挪了目标函数的方向:从「照规范执行」转向「理解规范背后的理由」。
还有两个容易被跳过的细节:规范以 CC0 1.0 放进公有领域,任何人都可以拿去改;权限链里明写,专门用于安全测试和红队、可以输出受限内容的 "rail free" 模型只服务于内部评测,公开发布的模型不应能被一条系统消息撬开 root 级规则。