当大多数 benchmark 还在用高中/奥数级数学题考 LLM 时,Intern Large Models(上海 AI Lab)推出的 AdvancedMathBench 把题目难度直接拉到「本科生高年级(UGD)+ 博士资格考(QE)」级别——核心 ProverBench 收录 296 道这样的难题,配套 VerifierBench 又用 888 条模型生成的证明轨迹去测「验证能力」。 实验结果相当难看。在证明生成上,目前最强的 GPT-5.5-xhigh 也只拿下 75.8(UGD)和 66.1(QE),意味着即使是最顶级的模型,在博士级数学证明上也有 1/4 到 1/3 的题目彻底做不出来。在证明验证上,最强模型 Balanced F1 只有 65.1,而且所有模型的 True Negative 普遍偏低——模型抓「错误证明」的本事远远不够,容易把错的当成对的过。 这套 benchmark 的最大贡献,不在于「又一次证明 LLM 不会做难题」,而在于把评估颗粒度从「最终答案对错」细化到「证明过程是否有效」,用 verifier pipeline + 专家标注做 fine-grained 错误定位。对 agentic 工作流(让 LLM 互相审稿、互相改稿)非常关键——如果 verifier 抓不到漏洞,整个 agent 链条的可信度就是空话。 对比 OpenAI 复审 SWE-Bench Pro 时承认有近三成「坏题」,AdvancedMathBench 选择了更难的方向:题目可能更干净,但评判标准更严苛。这或许暗示 LLM 评估正在从「刷榜」走向「过程审计」的下一阶段。