[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-slug-ideataste-llm-research-taste-benchmark":3,"topics-all":32,"news-related-99c1eb7b-9226-4d61-afdb-5d54f920a85c":51},{"id":4,"title":5,"summary":6,"content":7,"original_url":8,"source_id":9,"tags":10,"translations":24,"news_slug":25,"published_at":26,"created_at":27,"modified_at":28,"is_published":29,"publish_type":30,"image_url":14,"view_count":31},"99c1eb7b-9226-4d61-afdb-5d54f920a85c","研究品味实测:AI 智能体的想法匹配只有人类的 18%","CMU 与 MBZUAI 团队的 IdeaTaste 基准把 2025 年底的文献冻住,让六个模型在四个研究领域写出九万多份研究提案,再与同一社区 2026 年发表的论文对账:引用匹配约为人类水平的 26%,想法匹配只有 18%。差距不在读什么、做什么题,而在把方向变成具体方案,加上下文、堆规模、换新模型都不奏效。","AI 科学家已经不是概念:生成想法、检索文献、跑实验、写论文,每环都有模型接手。但有一环没人量化——该做什么研究。选错题,执行得再漂亮也是零产出。CMU 与 MBZUAI 团队在 arXiv 放出的 IdeaTaste 基准专门量了这一层,结论不太乐观:四个研究领域、六个语言模型、九万多份研究提案的规模上,AI 智能体的引用匹配约为人类研究者真实成果的 26%,想法匹配只有 18%。论文见 https:\u002F\u002Farxiv.org\u002Fabs\u002F2611.03424 。\n\n## 怎么量:把文献冻在 2025 年,拿 2026 年当答案\n\n构造很直接。每个领域把 2025 年底及以前的论文冻成语料库 U,同一社区 2026 年 1 到 8 月的论文作参照集 H。四个领域是机器学习系统、代码生成、世界模型、自动化研究,语料与参照规模依次是 88,184 \u002F 5,188、94,674 \u002F 3,375、50,271 \u002F 1,867、30,264 \u002F 1,136 篇,合计 26.3 万篇与 1.16 万篇。两组都从每个领域 20 到 22 篇奠基论文顺引用链收集,再按领域定义筛掉不相关的。\n\n智能体只读语料库 U 写提案,拿去对 H。指标分两层:引用层算引用集合的 Jaccard 相似度;想法层用语言模型从摘要按固定模板抽五个槽位——贡献类型、问题、动机、提出方案、研究计划——再由裁判模型逐槽位比对。人类水平由 2026 年论文互相打分得到。\n\n实验跑满 6 个模型 × 4 种设定 × 4 个领域 = 96 个群体,每群体 300 份提案,智能体是 ReAct 架构、预算 20 步。四种设定只差在它\"知道自己领域多少\":free 什么也不给,topic 给一个方向,landscape 给出该领域热门标签与占比,frontier 分轮迭代。裁判模型是 GPT-5.6 Luna,不在被测家族内并经人工标注校验,想法槽位由 DeepSeek-V4-Pro 抽取。数据以 MIT 许可发布在 https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fcx-cmu\u002FIdeaTaste ,代码在 https:\u002F\u002Fgithub.com\u002Fcxcscmu\u002FIdeaTaste ,榜单在 https:\u002F\u002Fcxcscmu.github.io\u002FIdeaTaste\u002F 滚动更新。\n\n## 差距不在读什么,在怎么改\n\n没有任何一个群体、任何模型、任何领域在两项指标上达到人类水平一半。方向上反而跟得住:自动化研究领域里,frontier 群体触及 192 个任务标签、220 个方法标签,接近人类的 200 与 268;但落到任务与方法配对上,即使 frontier 也只覆盖人类约一半质量。\n\n真正塌陷的是具体方案。论文把想法匹配拆到五个槽位:机器学习系统领域里,人类论文之间的问题匹配是 28.32、动机是 42.58,方案只有 3.99、研究计划只有 7.21;DeepSeek-V4-Flash 在 frontier 下对应 1.04、2.04、0.06、0.02。方案层面几乎找不到对应物。\n\n案例更清楚。同一个问题——取不到缓存的 MoE 专家造成大量 I\u002FO 开销——人类论文 ReMoE 微调路由器偏向常用专家,Qwen3.8-27B 匹配的提案只训路由器提升连续 token 间的专家复用,不匹配的则预测需求去预取、模型一字不改。同一问题,机制可以差很远。\n\n## 加资源的三条路都堵死了\n\n给更多上下文没用。landscape 拿到最完整的领域地图,却在 24 种设置的 19 种里引用匹配排最后。四个设定之间匹配值挤在一条窄带,变化三倍的是引用多样性——是铺开的程度,不是贴近程度。\n\n把群体做大也没用。把 free 和 topic 从 300 份扩到与参照集同规模(3.8 到 17 倍),匹配只轻微抬升就趋平,提案数与社区论文数相等仍远低于人类水平。\n\n换更新的模型更没用,甚至反着来。Llama 4 Scout 与 Claude Haiku 4.5 训练于 2026 年之前,按构造不可能见过参照论文;论文报告这两个模型在想法匹配上约为人类水平的 26%,可能见过 2026 论文的四个模型只有 14%。想法匹配既不跟发布时间走,也不跟能力强弱走:Llama 4 Scout 匹配到最多的人类想法,盲评评分却最低。\n\n## 盲评:写法像论文,能不能成是另一回事\n\n论文做了一轮 11 人盲评,192 份文档,每份两份评审,评审者不知道来源,还评可行性、预期成功并猜是否 AI 生成。\n\n差距位置很清楚:AI 提案在预期成功上落后 20 分,表述上只落后 4 分;86% 的提案被认出是 AI 生成,论文只有 39%。按有无人类对应物拆开,两组总评分都落后 11 分,但没有对应物的那些,可行性从落后 8 分扩到 15 分,预期成功从落后 15 分扩到 26 分。跑偏的提案不是\"社区还没走到的机会\",而是更弱的选题。\n\n案例也有反转。案例 1 是配对的一组:人类论文 Let the Abyss Stare Back 的 soundness 是 50、预期成功 40,Gemini 3.5 Flash-Lite 的对应提案是 100 和 60。案例 2 全是没有对应物的文档:人类论文 ResearchArena 被判成 AI 生成、soundness 归零,一份 Claude Haiku 4.5 的提案反被当成人写的。\n\n## 这对做 AI 科研的人意味着什么\n\n结论很直白:AI 研究的瓶颈不在\"找到方向\",在\"把方向变成具体方案\"。论文的表述是,主瓶颈在于把方向转成社区最终采取的做法。换更大的模型、加更全的上下文、堆更多智能体都不解决它;瓶颈在方案设计这一步,需要的可能不是更多采样,而是别的机制。\n\n更实用的用法是拿 IdeaTaste 当体检工具:某模型在某个方向的想法匹配只有 18%,意味着产出停在选题层,离可执行方案还差一步。榜单也在往这个方向推:每季度加入新模型、扩展人类参照,2025 年快照写出的提案挂在观察名单上,等社区日后真发表同一想法即计为 verified。这把\"研究品味\"变成滚动更新、拿未来论文当答案的开放评测。代价也得算清:一个 300 提案的群体最多要 6,000 次智能体调用,评估还要约 300 次抽取调用,外加每篇 2026 年论文 5 次判分、最多 1,500 次多样性配对。","https:\u002F\u002Farxiv.org\u002Fabs\u002F2611.03424","7437aeb9-930c-4866-a2e9-48003c1a792b",[11,15,18,21],{"id":12,"name":13,"slug":13,"description":14,"color":14},"6ad31a14-c0da-42df-81fd-564281f768db","agentic-ai",null,{"id":16,"name":17,"slug":17,"description":14,"color":14},"5e628969-6d2a-437f-998a-104e4b16cfb1","ai-progress",{"id":19,"name":20,"slug":20,"description":14,"color":14},"120fa59a-ff6f-4537-9bf5-f818df636a0e","benchmark",{"id":22,"name":23,"slug":23,"description":14,"color":14},"01598627-1ea6-4b27-a5d8-874971571a71","llm",[],"ideataste-llm-research-taste-benchmark","2026-11-04T11:13:00Z","2026-11-04T11:12:52.095548Z","2026-11-04T11:12:52.095572Z",true,"agent",75,[33,42],{"slug":34,"tag_slug":34,"title_zh":35,"title_en":36,"intro_zh":37,"intro_en":38,"id":39,"is_active":29,"created_at":40,"modified_at":41},"ai-for-science","AI for Science 2026：从 UniPert 到 GPT-Rosalind 的硬核进化","AI for Science 2026: from UniPert to GPT-Rosalind","生命科学、化学材料、物理世界模型——AI 正在从\"语言工具\"变成\"实验伙伴\"。本专题收录 AI 在三大科学方向的关键节点：UniPert 统一基因与化学扰动空间、GPT-Rosalind 端到端生命科学推理、达摩院 AI 智能体 28 小时找到 4 种超导新材料、Anthropic Claude Science 把工作台做成标准品。","From language tool to lab partner — AI is reshaping life sciences, chemistry\u002Fmaterials, and physical world models. This topic covers the key milestones: UniPert unifying genetic-chemical perturbation spaces, GPT-Rosalind's end-to-end life-sciences reasoning, DAMO's AI agent discovering 4 superconducting materials in 28 hours, and Anthropic's Claude Science workbench going mainstream.","988a4300-5fab-41c4-b5d8-63711a2dc757","2026-09-10T01:34:15.296649Z","2026-09-10T01:34:15.296663Z",{"slug":43,"tag_slug":43,"title_zh":44,"title_en":45,"intro_zh":46,"intro_en":47,"id":48,"is_active":29,"created_at":49,"modified_at":50},"h3-series","MiniMax H3 系列：从开源权重到 35 倍吞吐","MiniMax H3 Series: from open weights to 35x throughput","MiniMax H3 自 2026 年 8 月开源以来节奏密集：官方把生成、参考与编辑收回一个模型；ComfyUI 当天压进 RTX 3060；摩尔线程 3 小时完成国产 GPU 适配；fal 后训练版把吞吐拉到 35 倍；FastH3 蒸馏再砍推理成本。本专题持续追踪 H3 的发布—开源—蒸馏—部署全链路。","Since MiniMax open-sourced H3 in August 2026 the pace has been relentless: one unified omni-modal model, same-day ComfyUI support down to an RTX 3060, a 3-hour Day-0 port to Moore Threads GPUs, fal's post-trained H3 Max at 35x throughput, and FastH3 distillation cutting inference cost further. This topic tracks the full H3 chain — release, open weights, distillation, deployment.","83ef0daa-3c31-4cb3-86ed-e5ee58654d5f","2026-09-08T07:33:19.942193Z","2026-09-08T07:33:19.942209Z",{"items":52},[53,58,63,68,73,78],{"id":54,"title":55,"news_slug":56,"published_at":57},"37e0486a-225d-4b44-b189-206bd756210c","多轮 Agent 强化学习提升了什么:46.8% 的真相","multi-turn-agentic-rl-budget-dependence","2026-11-06T01:18:33+00:00",{"id":59,"title":60,"news_slug":61,"published_at":62},"a50b0336-dabe-405e-b8c4-d27156ab6d24","60% 权重转私有测试集:开放权重落后榜首 12 分","artificial-analysis-intelligence-index-v5","2026-10-28T07:00:00+00:00",{"id":64,"title":65,"news_slug":66,"published_at":67},"ba7f04d1-2fe5-4e1d-90a6-94ec3c4b70df","阿里 UserArena:64,729 条购物轨迹当考场","userarena-shopping-agent-user-simulation-benchmark","2026-10-26T09:10:00+00:00",{"id":69,"title":70,"news_slug":71,"published_at":72},"aa294551-fbef-4cf4-b466-1928ab1925bb","朴素 RAG 拿下 6\u002F7 组评测:复杂记忆系统被比下去了","naive-rag-beats-complex-agentic-memory","2026-10-25T07:17:45+00:00",{"id":74,"title":75,"news_slug":76,"published_at":77},"da6cbb98-3b89-4631-8dbd-59411136fb30","哈佛用 700 家公司拆解 AI 编程智能体:30% 代码增量,49% 合并时延","harvard-coding-agent-review-bottleneck","2026-10-14T11:30:00+00:00",{"id":79,"title":80,"news_slug":81,"published_at":82},"c368ad9f-9308-4a0b-8f5c-3ae4601b48b9","D2K-Bench: 专家设计把 LLM 写 GPU 核提速 33.9%","d2k-bench-llm-gpu-kernel-design-guidance","2026-10-07T03:00:00+00:00"]