AI 科学家已经不是概念:生成想法、检索文献、跑实验、写论文,每环都有模型接手。但有一环没人量化——该做什么研究。选错题,执行得再漂亮也是零产出。CMU 与 MBZUAI 团队在 arXiv 放出的 IdeaTaste 基准专门量了这一层,结论不太乐观:四个研究领域、六个语言模型、九万多份研究提案的规模上,AI 智能体的引用匹配约为人类研究者真实成果的 26%,想法匹配只有 18%。论文见 https://arxiv.org/abs/2611.03424 。
怎么量:把文献冻在 2025 年,拿 2026 年当答案
构造很直接。每个领域把 2025 年底及以前的论文冻成语料库 U,同一社区 2026 年 1 到 8 月的论文作参照集 H。四个领域是机器学习系统、代码生成、世界模型、自动化研究,语料与参照规模依次是 88,184 / 5,188、94,674 / 3,375、50,271 / 1,867、30,264 / 1,136 篇,合计 26.3 万篇与 1.16 万篇。两组都从每个领域 20 到 22 篇奠基论文顺引用链收集,再按领域定义筛掉不相关的。
智能体只读语料库 U 写提案,拿去对 H。指标分两层:引用层算引用集合的 Jaccard 相似度;想法层用语言模型从摘要按固定模板抽五个槽位——贡献类型、问题、动机、提出方案、研究计划——再由裁判模型逐槽位比对。人类水平由 2026 年论文互相打分得到。
实验跑满 6 个模型 × 4 种设定 × 4 个领域 = 96 个群体,每群体 300 份提案,智能体是 ReAct 架构、预算 20 步。四种设定只差在它"知道自己领域多少":free 什么也不给,topic 给一个方向,landscape 给出该领域热门标签与占比,frontier 分轮迭代。裁判模型是 GPT-5.6 Luna,不在被测家族内并经人工标注校验,想法槽位由 DeepSeek-V4-Pro 抽取。数据以 MIT 许可发布在 https://huggingface.co/datasets/cx-cmu/IdeaTaste ,代码在 https://github.com/cxcscmu/IdeaTaste ,榜单在 https://cxcscmu.github.io/IdeaTaste/ 滚动更新。
差距不在读什么,在怎么改
没有任何一个群体、任何模型、任何领域在两项指标上达到人类水平一半。方向上反而跟得住:自动化研究领域里,frontier 群体触及 192 个任务标签、220 个方法标签,接近人类的 200 与 268;但落到任务与方法配对上,即使 frontier 也只覆盖人类约一半质量。
真正塌陷的是具体方案。论文把想法匹配拆到五个槽位:机器学习系统领域里,人类论文之间的问题匹配是 28.32、动机是 42.58,方案只有 3.99、研究计划只有 7.21;DeepSeek-V4-Flash 在 frontier 下对应 1.04、2.04、0.06、0.02。方案层面几乎找不到对应物。
案例更清楚。同一个问题——取不到缓存的 MoE 专家造成大量 I/O 开销——人类论文 ReMoE 微调路由器偏向常用专家,Qwen3.8-27B 匹配的提案只训路由器提升连续 token 间的专家复用,不匹配的则预测需求去预取、模型一字不改。同一问题,机制可以差很远。
加资源的三条路都堵死了
给更多上下文没用。landscape 拿到最完整的领域地图,却在 24 种设置的 19 种里引用匹配排最后。四个设定之间匹配值挤在一条窄带,变化三倍的是引用多样性——是铺开的程度,不是贴近程度。
把群体做大也没用。把 free 和 topic 从 300 份扩到与参照集同规模(3.8 到 17 倍),匹配只轻微抬升就趋平,提案数与社区论文数相等仍远低于人类水平。
换更新的模型更没用,甚至反着来。Llama 4 Scout 与 Claude Haiku 4.5 训练于 2026 年之前,按构造不可能见过参照论文;论文报告这两个模型在想法匹配上约为人类水平的 26%,可能见过 2026 论文的四个模型只有 14%。想法匹配既不跟发布时间走,也不跟能力强弱走:Llama 4 Scout 匹配到最多的人类想法,盲评评分却最低。
盲评:写法像论文,能不能成是另一回事
论文做了一轮 11 人盲评,192 份文档,每份两份评审,评审者不知道来源,还评可行性、预期成功并猜是否 AI 生成。
差距位置很清楚:AI 提案在预期成功上落后 20 分,表述上只落后 4 分;86% 的提案被认出是 AI 生成,论文只有 39%。按有无人类对应物拆开,两组总评分都落后 11 分,但没有对应物的那些,可行性从落后 8 分扩到 15 分,预期成功从落后 15 分扩到 26 分。跑偏的提案不是"社区还没走到的机会",而是更弱的选题。
案例也有反转。案例 1 是配对的一组:人类论文 Let the Abyss Stare Back 的 soundness 是 50、预期成功 40,Gemini 3.5 Flash-Lite 的对应提案是 100 和 60。案例 2 全是没有对应物的文档:人类论文 ResearchArena 被判成 AI 生成、soundness 归零,一份 Claude Haiku 4.5 的提案反被当成人写的。
这对做 AI 科研的人意味着什么
结论很直白:AI 研究的瓶颈不在"找到方向",在"把方向变成具体方案"。论文的表述是,主瓶颈在于把方向转成社区最终采取的做法。换更大的模型、加更全的上下文、堆更多智能体都不解决它;瓶颈在方案设计这一步,需要的可能不是更多采样,而是别的机制。
更实用的用法是拿 IdeaTaste 当体检工具:某模型在某个方向的想法匹配只有 18%,意味着产出停在选题层,离可执行方案还差一步。榜单也在往这个方向推:每季度加入新模型、扩展人类参照,2025 年快照写出的提案挂在观察名单上,等社区日后真发表同一想法即计为 verified。这把"研究品味"变成滚动更新、拿未来论文当答案的开放评测。代价也得算清:一个 300 提案的群体最多要 6,000 次智能体调用,评估还要约 300 次抽取调用,外加每篇 2026 年论文 5 次判分、最多 1,500 次多样性配对。