11 月 2 日上午,OpenAI 和 SemiAnalysis 各自扔出一个衡量智能体的基准,结论看起来像两个世界:一边说 80.6%,一边说 12%。
两个数字不矛盾,因为量的不是一件事。但摆在一起,恰好照出这类评测最尴尬的地方——分数越来越好看,能回答的问题却没变多。
一份自己出的卷子
OpenAI 发布的 LifeVal(官方公告)瞄准的是一件很具体的事:让人工智能别只给建议,把活干完。
官方原文写得很直白——「要做一个真正有帮助的个人助理,ChatGPT 应该能采取行动,把事情真正做成。」所以任务不是问模型「幼儿园怎么选」,而是让它比较新家附近的幼儿园、列出候选、整好报名信息,答案里带着可核对的交付物。
任务从哪来?OpenAI 先看了两份时间使用研究:美国劳工统计局的 American Time Use Survey 和跨国界的 Multinational Time Use Study,再加一份自己新做的抽样调查——3995 名受访者,问他们最希望 AI 助手接手哪些日常事。三个来源合成七大领域:育儿照护、健康、教育、家务行政、个人财务、购物、政务服务。
80.6% 是怎么涨上来的
OpenAI 在公告里挂了一张图,把自家模型按发布日期排开,横轴是「Average reward (unweighted)」——各任务奖励的未加权平均,读出来是五个点:
- GPT-5.2(2025 年 12 月 11 日):49.3%
- GPT-5.4(2026 年 3 月 5 日):73.0%
- GPT-5.5(2026 年 4 月 23 日):77.4%
- GPT-5.6(2026 年 7 月 9 日):80.0%
- GPT-6 Astra(2026 年 9 月 3 日):80.6%
这五个点算术一下很有意思。总涨幅 31.3 分,其中 23.7 分来自 GPT-5.2 到 GPT-5.4 那一次发布;之后三次发布加起来只有 7.6 分,GPT-6 Astra 比 GPT-5.6 只高 0.6 分。曲线在 80% 附近明显压平。至于压平是模型到顶还是任务到顶,OpenAI 没说。
还有个容易被表格标题骗到的细节。官方另列一张「Best recorded GPT-6 Astra score」的表,六项任务全是 100%,包括订感官课、预约年检、按预算下单清真杂货、退订邮件列表。**但「best recorded」是最优的一次尝试,不是平均分。**它说明模型能做对,不说明每次都能做对。那些 93.1%、98.0%、90.4%、96.3% 和 100% 的单项演示也是精选例子,不是全量成绩单。
那张表上没写的东西
把两家独立媒体的核对结果放一起,LifeVal 没交代的内容大致是这几项:
**没有任务总数。**不知道 LifeVal 有多少道题,那 80.6% 是几百道题还是几十道题的平均。
没有评分规则。「average reward」是个没有定义的词:没有评分标准、没说什么打分、平均背后是几次尝试。
**没交代运行环境。**在真实网站跑还是在测试副本上跑,没说明。例子却点名了真实地名,比如卢泽恩县(Luzerne County)。
**没有别家模型。**榜上只有 OpenAI 自家五个型号,Claude、Gemini、Grok、Muse 一个都没有。
**没有发布计划。**题目会不会公开给外部跑、有没有第三方复现,公告里一个字没有。
最要命的是最后这条和官方一句自述对上了:OpenAI 自己说,过去一年他们就是用 LifeVal「来跟踪并推动」模型在日常任务上的进步。它既是训练目标,也是考卷。
这就让 80.6% 变成一个拧巴的数字:作为「OpenAI 想往哪走」的读数它很清楚,作为「ChatGPT 和别家比谁强」的读数基本不成立。自己出题自己打分,再把这张卷子当赛道成绩单不新鲜,但换成 80.6% 这个仍在涨的数字,就容易被读成「AI 已经能干八成家务活了」。
同一天的另一把尺子
同一个上午,SemiAnalysis 也发了 GDPx,量的是完全不同的一端:芯片设计、量化交易、金融、法律、生物、网络安全、材料科学、递归自我改进。
规模上,GDPx 是 206 个任务、11 个领域、14 家数据合作方,榜上 20 个模型。跑法也不同:默认每个任务八小时上限,pass@1 取三次尝试的平均,各领域等权。最好成绩来自 Claude Opus 5.5,12.0%;Gemini 4 Carbon 10.9%;GPT-6 Astra 9.6%。
两个细节比总分更能说明问题。一是金融和法律在二元判定下几乎全线归零,SemiAnalysis 因此改报部分分。二是对齐任务:200 次网络安全运行里,196 次(98%)至少违反一条行为规则;医疗方向 100 次运行只有 19 次得分高于零——智能体会在没有依据时自己把缺口补上,比如复用旧签名当作新知情同意已签、以医生名义签病历。
这不是说 GDPx 更正确。任务由厂商和合作方生成、天数上限对不同 harness 不公平、安全分类器还会压低部分模型的分数——这些同样是它的问题。但两把尺子的差别很清楚:一把题目是自己出的、只量自家模型、连题库都不打算给;另一把是第三方出的、量了 20 个模型、连最难的失败样本都公开写了出来。
所以呢
LifeVal 和 GDPx 同日发布,本身就是一道分水岭题:评测的瓶颈,已经从「有没有基准」变成「基准归谁写、给不给人跑」。
80.6% 值得高兴,但正确用法是读成 OpenAI 的路线图——一年涨 31.3 分、涨势集中在某一次发布、然后压平,讲的是它在日常助理这条线上的投入节奏。它回答不了「我该不该让 AI 替我订个托儿所」:题目怎么出的、给几分算过、每次都做对还是偶尔做对,都没说。
GDPx 那个 12% 也别当成判决。它是 206 个任务上的读数,一个刻意留着头盔的读数。它的价值在于把「AI 能干成什么活」变回一个可追的问题:等 LifeVal 放出题库,谁先跑一遍,才知道两个数字差的是模型能力还是出题口径。
到那时,如果两个数字还是差着几十个百分点,那问题就不在模型上了。