一个税务智能体把两种卖房日期都算对了，却没告诉客户：再拖三个月，最高 25 万美元（$250,000）的免税额度就没了。这不是算错，是漏问。

Surge AI 在 10 月 27 日上线了 DAYJOB: Tax 基准。50 个由执业税务专家设计的专业任务，每个任务配一个装满客户档案的完整工作环境。评测方式是 pass@1：50 个任务，每个任务跑 5 次尝试，一次尝试要满足该任务 95% 以上的评分标准才算过。榜单第一的 Claude Sonnet 5.5 通过率 10.8%，第二名 Claude Fable 5.1 是 9.6%，第三名 Claude Opus 5.5 是 9.2%(原始榜单)。

什么才算"通过"

这套评分标准严在两个地方。

一是标准条数多。官方公开的数据卡显示，每个任务的评分细则中位数是 30.5 条，判分覆盖计算过程、支撑证据、后果性问题和最终交付物（数据集卡片）。二是分数线高，一次尝试必须命中 95% 以上的细则才算过——也就是说，一个能把大部分事情做对的智能体，只要漏掉一条会改变结论的判断，照样记零分。

任务本身是容器化的 Harbor 格式，跑的时候网络被限制在允许的模型接口上，浏览和装包都被挡掉，所以没法靠现查现抄蒙混过关。50 个任务只公开了 2 个样例，完整的 50 个要邮件申请。

分数单

Surge AI 自己跑的榜单，从上到下：Claude Sonnet 5.5 10.8%、Claude Fable 5.1 9.6%、Claude Opus 5.5 9.2%、Muse Wonder 1.0 6%、Grok 4.7 5%、GPT-6 Astra 4.8%、GPT-6.1 Sol 4%、Muse Spark 1.3 3.6%、Gemini 4 Argon 3.2%、Hy4 Preview 1.6%、DeepSeek V4.1 Flash 1.2%、Gemini 3.8 Flash 0.8%、GLM 5.3 0.4%，Kimi K3、Mistral Large 4、Qwen 3.8 Max 三家是 0。

这是评测方自己跑的自家题目，别的机构目前还没有复现版本。但一个规律很难忽略：专业工作一旦需要主动判断，模型之间的差距不是缩小，而是整个梯队一起掉到 10% 以下。

错在判断，不在算术

Surge AI 在博客里给了两个案例（原文）。

一个是 Anna 卖公寓。她 2024 年 8 月搬走，想比较 2026 年 10 月和 2027 年 1 月哪个成交更划算。智能体正确判断两个日期都满足"五年内住满两年"的居住要求，但漏掉了另一半：一旦拖过 2027 年 8 月底，她就不再满足条件。五次尝试里 Astra 一次都没发现这个截止日，Opus 五次全中。

另一个是分居夫妻分割 Roth IRA 和 401(k)。Opus 5.5 五次都基于"两人法律上未结婚"给建议，让他们各留各的账户再加一笔现金找平。但这对夫妻在德州共同生活过、在科罗拉多办过仪式，德州承认非正式婚姻，在佛州另行成立的有效婚姻通常仍然有效。事实可能因此反转税负。Astra 在五次里有四次先去确认婚姻状态。

这两个案例的共同点很扎眼：算术部分基本没问题，塌掉的是"客户没问、但你应该主动去查"的那一环。

难在文件堆

50 个任务共用 1,789 个文件，中位数每任务 30 个，最多 123 个，其中 1,487 个是 PDF、117 个 Excel、38 个 Word，其余是邮件、图片、CSV 和 JSON。里面有意为之的不规范材料，比如一张转售商品的手写收据照片，要读出品名金额再和支出记录对账；比如一家只申报在阿拉巴马州的工业筒仓服务公司，调度记录显示 crews 在五个州干活。

这些不是"难文件"，是真实工作里本来就长那样的东西。

和旧税务基准差在哪

已有的税务评测各有侧重：TaxBench 问 114 个有明确答案的税务问题，TaxCalcBench 测的是报税数字算得准不准，TaxLab 测智能体能不能主动向模拟纳税人追问信息并完成申报。DAYJOB 的野心更大一步——它要问的是，客户问错了问题时，智能体能不能把活接下来。

我的判断

基准的价值不在分数高低，在于它把"能力"的定义往前推了一格。以前我们测智能体，是测它会不会做一件事；现在有人开始测它能不能把一件没人说得清楚的事从头负责到尾。这个转向比 10.8% 这个数字重要得多。

但也要泼一盆冷水。榜单是评测方自己跑的，公开样本只有 2 个，完整任务要申请才能拿到，第三方目前无法独立复现。10.8% 这个数该被当成一个方向性信号，而不是终审判决。而且这套基准测的是"税务"这一个职业的一个切面，把它直接外推成"智能体还干不了专业工作"是过度解读。

真正值得盯住的是那 30.5 条细则背后的东西：模型已经能把给定的题算对，接下来要练的是发现题本身缺了一块。这件事靠继续堆预训练语料解决不了，只能靠带真实后果的反馈信号去训。而带真实后果的反馈，恰好是专业领域最稀缺的那种数据。