写并购备忘录、搭财务模型、做尽调报告,这些活儿没法用单元测试判对错——答案好坏取决于判断和品味,regex 解析器和 CI 都验证不了。Paper Instruments 在 10 月 14 日发布的 Ultramarine 1 Flash 冲着这块空白去:在 GLM-5.3 Flash 基础上做大规模强化学习后训练,把"不可验证任务"当成 RL 规模化攻坚的主战场。

把不可验证任务按可验证任务的套路造

方法论沿用近期可验证 RL 的框架定义每个 RL 任务:一个环境、一条模型指令、一套验证系统。区别只在于验证系统被换成了评分细则。

交付物是 Excel 模型、PowerPoint 演示和 Word/PDF 文档。评测流程把这些由智能体撰写或就地编辑的文件解析并渲染成文本,交给朴素 LLM 评分器按细则打分——用开源评分包的 PerCriterionOneShotGrader,配一套为贴合人类专家评判流程而调过的提示词。内部基准 PI Knowledge Work 上评分者是 GPT-5.6 Terra,跑在 262,144 token 上下文窗口的 Feather 框架里。

课程切得很细:金融、法律、咨询、运营四个领域,19 个专业实践领域,88 种环境类型,任务指令和评分细则沿采样轴对抗式生成,报告称组合空间在 10⁷ 到 10¹⁰ 量级。

训练配置与沙箱隔离

公开的超参相当具体:基于 CISPO 改造成双策略目标,AdamW,批量 64 × 8,LoRA rank 64,学习率 5 × 10⁻⁵,temp = 1、top_p = 1、top_k = -1,损失按训练批次有效生成 token 总量归一化。上下文窗口 131,072 token,智能体最多 250 轮,压缩在上下文用到 85% 或剩余 30,000 token 时先到者触发。

沙箱隔离那段值得单独看。智能体通过 MCP 访问应用服务,拿不到服务进程本身及其存储,评分产物和验证器都在执行边界之外。报告写得很直白:模型在沙箱里做的任何事,都改不了自己的 harness、凭证或评分器。可复用验证器依赖预先烘焙进环境快照,任务专属评分材料在 rollout 之后才下发。

成绩单:知识工作赢,编码输了

六项知识工作基准全部超过基座,平均高 4.1 分,输出 token 还少 6.5%。JobBench 上 62.9,基座 56.3,Gemini 3.8 Flash 60.6;FrontierFinance 上 53.3。

编码基准却是退步的:Terminal-Bench 2.1 为 83.2,基座 84.3;DeepSWE 1.1 为 61.5,基座 63.4。APEX-Agents 1.1 上 57.0,落后 Claude Fable 5 的 63.6 和 Gemini 3.8 Flash 的 64.3。

成本最抓眼。内部基准上 Ultramarine 1 Flash 拿到 59.3 分、每任务 0.13 美元;同口径 Claude Fable 5(max 推理)57.8 分、每任务 8.19 美元,GPT-5.6 Sol(max)55.1 分、每任务 2.09 美元,与 Claude Opus 5.5(6.96 美元)和 GPT-6 Sol(1.26 美元)的差距都在三分以内。据此 CEO Daanish Khazi 对外称"性能接近 Fable 5,便宜 60 倍"。

该怎么看这组数字

三点得说清楚。第一,所有基准分数都出自 Paper Instruments 自己,截至 10 月 16 日没有任何第三方机构复现过其中任何一项。第二,"便宜 60 倍"只在内部基准的任务级测算里成立,不是 token 单价上的普遍差异——它用的是各家 2026 年 10 月的官方 API 定价,任务还是自家构造的。第三,编码退步挺说明问题:后训练不是纯增益,拿知识工作评分细则去训,在验证信号明确的软件工程活儿上反而丢分。想吃下这条曲线,代价就写在表格里。

真正值得关注的不是 59.3 这个数字,而是背后的机制——把评分细则当作 RL 的验证信号,再用沙箱隔离保证智能体改不了自己的判卷系统。当"判断类工作"逐渐变成智能体的默认工作面,能先把这套方法跑通的团队会先拿到迁移成本的红利。

模型已上线 API,权重官方称将在约两周后放出。

参考:Paper Instruments 技术报告 https://www.paperinstruments.com/blog/ultramarine