胶图上的条带、平板上的菌落、显微镜的逐层堆栈——这些是湿实验室里每天都要打交道的证据。AI 智能体到底能不能替科学家把它们读对?OpenAI 交出的答卷相当不客气:在一百个日常湿实验任务上,成绩排在榜首的 GPT-6 Astra 平均也只拿到约三分之二的分数,而且照样会数错菌落。
100 个任务,全部来自真实实验
OpenAI 与专注酶设计的生物技术公司 Ligo 合作构建了 BioBasicsBench,覆盖蛋白方法、成像与流式细胞术、定量与检测、核酸方法、分子克隆五个日常板块。任务不是从教科书里挑的:科学家把自己实验里的真实数据——包括失败的实验和模糊的图像——变成考题,每道题配专家评分细则,再过三道评审:一位未参与出题的 Ligo 科学家、一位外部湿实验室 PhD 级科学家、最后一次内部终审。
证据形态也故意保留实验室的"脏":凝胶与印迹出现在 31 个任务里,协议、笔记与仪器规格 27 个,表格与仪器导出(含流式原始 FCS 文件)20 个,台面与试剂照片 18 个,显微镜图像 14 个,仪器屏幕与曲线 13 个,测序文件 12 个,操作视频与平板菌落各 7 个,另有 21 个任务附带梯图、质粒图谱等参考材料(类别有重叠)。官方明说:现有基于论文图表的基准,恰恰缺少这种歧义和排障场景。
七个模型排队挨考,榜首只有 66.7%
OpenAI 评测了 GPT-5.2 到 GPT-6 Astra 的 7 个模型、37 组模型与推理力度设置,每组在 100 个任务上各跑 5 次,合计 18,500 份评分。xhigh 最高推理档下的平均得分(mean reward):
| 模型 | 平均得分 | 每任务输出 token |
|---|---|---|
| GPT-6 Astra | 66.7% | 4,704 |
| GPT-6.1 Sol | 62.0% | 5,238 |
| GPT-5.6 Sol | 43.8% | 9,099 |
| GPT-6 Luna | 38.3% | 13,120 |
| GPT-5.5 | 35.4% | 11,135 |
| GPT-5.4 | 33.2% | 13,717 |
| GPT-5.2 | 31.2% | 27,620 |
两个信号值得注意。其一,GPT-6.1 Sol 与 GPT-5.6 Sol 之间隔着 18.2 个百分点的断层,OpenAI 的解读是更强的原生多模态能力可能是关键(官方口径)。其二,效率在代际间反转:GPT-5.2 每个任务烧 27,620 个输出 token 只得 31.2%,是 Astra 的约 5.9 倍——新一代模型不是靠把推理链拉长赢的。
拿高分的模型,实验室里照样翻车
OpenAI 特意展示榜首模型的三次翻车。菌落 PCR 任务里,Astra 把泳道条带分组看对了,实验归因却接反了:它默认更大的 PCR 产物代表克隆成功,选了 4、6、7、8 泳道,参考答案按对照逻辑选 5、9、10——照它选下去,下游纯化出来的是错误质粒。数菌落任务里,它的计数比参考值高出约 12%:近邻菌落粘成一个标记、可见菌落漏标、空白培养基也被数进去;而计数虚高,按固定体积与稀释度估算的转化效率会同比例虚高。还有一题,它检查了明、暗两种液泡,结论却只保留支持"液泡更暗"的那一半观察。
翻车之外也有亮点:一道 DNA 克隆题里,GPT-5.6 Sol 看到阴性对照板没长菌落就直接下结论,Astra 注意到平板边缘标签写着 LB Kan50(卡那霉素),而实验用的是氨苄青霉素,于是把这块板排除出可靠对照;一道死细胞染色题里,GPT-5.6 Sol 凭单一染料的亮度就把细胞判死,Astra 则指出两个检测通道的窗口在 525–540 纳米重叠、亮度不足以单独定论,主动要求补对照;还有一题它认出细胞"忽隐忽现"其实是显微镜的 z 轴逐层扫描,不是生物学现象。
所以呢
这个基准切开的,是"会答生物题"和"会做实验"的差别:后者考的是在模糊证据面前压住过度解读、承认证据不足。66.7% 的现实含义是:日常湿实验分析还没有模型能托底,Astra 的 95% 置信区间上界也只有 73.1%。OpenAI 在文末说,持续跟踪这些能力"将帮助我们理解其对生物安全与生物安保的影响"——这份榜单既是能力榜,也是风险清单。对做 AI for Science 的人来说,别急着问模型能不能进实验室,先问它敢不敢承认:这张胶图说明不了问题。(原始发布:OpenAI 官方文章)