英国金融科技公司 Saturn 在 9 月发布的《Artificial Authority》报告,把 18 款主流 AI 模型按真实理财问题轮番考了一遍。结论并不好看:平均 57% 的回答存在错误,涉及多步计算的复杂题,错误率直接跳到 88%;部分模型在最难的题目上错率高达 99%。表现最好的 Claude Opus 5 推理模式,正确率也只到 61%——也就是说,即便你选了榜单第一,每三次提问里仍会有一次拿到错的答案。
测试长什么样
这次测评覆盖 ChatGPT、Gemini、Claude、Copilot、Grok 五家厂商的免费与付费版本,共 18 个模型,问题库 121 道,每道题最多重复 5 次,累计 10,000 余次问答。题目按难度分三档:简单(术语解释类)、中等(单一计算)、复杂(多步计算 + 税法交互)。评分采用「paraplanner 必须通过清单」+ LLM-as-judge 的方式,只有模型回答覆盖全部要点才算通过,否则记为失败。
报告里点了三类高频失误:计算错误(尤其是税率、养老金边界)、遗漏即将生效的税收政策变更、凭空编造不存在的规则。FT 的报道(https://archive.is/WD6Vy,原网址 https://www.ft.com/content/c0cd359d-df84-4208-a789-ffa864b43666)援引了两个具体例子:Claude Haiku 4.5 在一道养老金税务问题上出错,差点让用户被 HMRC 罚 17,500 英镑;另一例中 Claude「发明」了一条规则,声称毕业生只要搬到国外就可以停还学生贷款。
监管与业界的反应
Saturn CEO Amal Jolly 在 FT 文中直言,「数以百万计的人正用 AI 模型问理财问题,但他们拿到的答案会让他们亏钱」。报告发布同时撞上了英国金融市场行为监管局(FCA)的另一组数据:五分之一的英国成年人愿意让 AI 替自己做财务决策,越年轻越愿意。Saturn CEO 借此呼吁 FCA 加快把 AI 理财建议纳入监管,因为目前这类服务不受监管,消费者既没有赔偿渠道,也没有追责对象。AJ Bell 个人理财主管 Sarah Coles 的回应更克制:AI 仍然适合做预算和初步研究,但凡涉及税务、债务优先级、退休规划,「专业顾问的价值就在这里,不能交给 AI」。
方法学争议
不过这份报告自己也挨了不少板砖。最尖锐的批评集中在方法学:评分用的是 LLM-as-judge,而它要测评的对象恰恰是 LLM——这等于用选手当裁判;评分标准里「漏掉风险提示」「漏掉合规步骤」这类不完全性失误占比不低,有人算过大约 37% 的失败案例并非事实错,而是「不全」;Saturn 本职是向 750 家理财顾问公司卖 AI 合规工具,利益相关明显。报告本身需要填邮箱才能下载,题目清单与具体 prompt 也未公开,第三方很难复现。FT 文章评论区里有人说得很直接:「这家公司卖的就是 AI 解决不了合规问题,所以才更需要人,那他们做的研究当然要得出 AI 不行的结论。」
这事到底意味着什么
把这些争议摆一边,数字本身仍然值得关注。88% 的复杂题错误率不是营销话术——它意味着,在多步计算 + 跨规则联动的场景里,主流大模型的理财问答能力远低于普通用户的直觉预期。再加上 LLM 的「自信口吻」与「礼貌错误」特性,用户在没有专业知识校验的情况下,极难自己识别错误。
实操层面有几条简单规则可以套用:涉及金额、税号、边界条件的提问,务必让模型分步列出算式并标注假设;对涉及「即将生效」政策的提问,直接对照政府官网原文;把 AI 当成「初稿生成器 + 对照表」,而不是「顾问」。当模型说「你可以……」的时候,默认它错了,再去证真。
Saturn 这份报告最大的价值,不是把 AI 钉在耻辱柱上,而是给「AI 替代专业服务」的热潮降了一档温:在专业门槛高、责任链条长的领域,「平均能用」还不够,得「基本不出错」才敢真用。下次再有 AI 理财工具拍胸脯,先让它跑一遍这 121 道理财题,再看它怎么吹。