把每天 10000 次数据库提问全部交给大模型 API,一年要烧掉 7 万美元。这是中型公司很典型的账单结构:问题本身并不复杂,复杂的是每一个问题都要重新调用一次最贵的模型。
UC Irvine 团队的这篇论文给出的解法有点反直觉——不是换一个更强的模型,而是在贵模型前面加一道便宜的闸门(论文原文:https://arxiv.org/abs/2611.17780)。
用 7B 模型守闸门
LuthorSQL 是一个 7B 的非自回归 text-to-SQL 模型,论文借用了卡尼曼的「系统 1 / 系统 2」说法:系统 1 快而自动,系统 2 慢而深思,模型只在自己没把握时才把问题升级给系统 2。
它不是逐 token 写 SQL。一次前向传播同时给出有界查询语法上每个槽位的分数,再由确定性编译器把计划拼成可执行 SQL,最多编译并运行 32 个候选计划,最后交给一个用难负样本训练出来的验证器挑出答案。论文说这套设计是为了压住小模型的几种典型翻车方式:结构化计划避免语法错误和凭空捏造的字符串,确定性编译器从外键图里推出 join 关系。
底座是 OmniSQL-7B 上的一个 LoRA 适配器,两个小适配器共用同一份冻结权重,所以它是「一个 7B 模型加两个小适配器」,不是一个 LLM 集成。设计灵感来自 TypeSafe 的 Jev。
68.03% 是什么水平
在 BIRD 官方隐藏测试集的 1789 道题上,LuthorSQL 的执行准确率是 68.03%,单卡每题 0.84 秒。换成 8 比特权重后占用约 9 GB,准确率不变,在 24 GB 内存的 M3 笔记本上也能跑,每题约 30 秒。
这个分数有个可以直接核对的参照:BIRD 官方单模型榜单(https://bird-bench.github.io/)上,32B 的 Arctic-ExCoT 记的是测试集 68.19、开发集 68.32。论文的单适配器变体正好落在 68.19。
跨引擎是论文的另一个卖点。因为模型预测的是与引擎无关的查询计划,同一份权重可以直接翻译到六种数据库上,在全部 1534 道 BIRD 开发集题目上:SQLite 60.17%、Snowflake 59.32%、MySQL 57.63%、DuckDB 57.43%、PostgreSQL 57.37%、BigQuery 57.11%,全部落在 3.1 分的带宽内,不需要重新训练。
账单那一栏
级联的规则很简单:验证器分数低于阈值 3.0 才升级给 Claude Opus 5.5。这个阈值是论文在 DECISION 集上定的,系统 1 独自答掉 45.4% 的问题,组合系统的准确率 78.39%,比一直调用 Opus 低 0.50 分。
省钱的数字来自预注册实验。在 227 道「数据库发布时间晚于 Opus 训练截止」的新题上,走 API 直接调用 Opus 的口径下,级联省下 33.3% 的 API 成本,区间 26.5% 到 39.1%,准确率 95.15% 对 95.59%,p = 1.0,其中 102 道题完全由本地模型作答。
对照的数字要保守一些:在 348 道留出的 BIRD 题目上跑三次,分别省下 24.8%、32.9%、32.5%,合并 30.1%;在 693 道 KaggleDBQA 与 Spider-Realistic 题目上省 19.9%,准确率差距在 1.2 分以内,作者说这些差异都不显著。
更扎手的一半:榜单分数可能不是推理出来的
论文顺手做了一件我觉得比省钱更重要的事。
在不给模型 schema、也不给数据库工具的条件下,Claude Opus 5.5 生成的查询在四个公开数据集上有 79% 到 95% 的样本直接返回了标准答案的结果,并且逐字复现了 48-92% 的标准 SQL,连数据集特有的别名写法和反引号格式都对上了。
作者的结论没有停在「模型作弊」上。他们补了两组对照:把测试库里的所有名字换掉,准确率没有塌;换到训练截止之后才发布的新数据库上,准确率是 95.6-97.4%,其中 Opus 单独跑是 97.4%、级联是 94.3%。也就是说,带工具的真实泛化能力是站得住的,污染主要发生在「照着答案背」这一层。
另一条独立证据来自 Oracle AI 的 SPENCE 论文(https://arxiv.org/abs/2604.17771)。它用句法改写做探针,给每个问题生成 10 个语法变体,看模型改写后掉不掉分。结论是 Spider、SParC、CoSQL 这些老基准的肯德尔 tau 集中在 -0.6 到 -0.95,明显为负,说明越改写越差;而较新的 BIRD 接近零,落在 -0.46 到 -0.11。两篇论文测的不是同一件事,一个查「能不能背出标准答案」,一个查「换个说法还对不对」,但都指向同一件事:NL2SQL 的公开分数不能直接当成泛化能力读。
论文自己列的限制
作者在局限性一节写得很实在:这套语法只覆盖了 BIRD 开发集 84.6% 的标准查询,需要 CTE、相关子查询、窗口函数的题基本会走错;级联还没在 BIRD 隐藏测试集上跑过;留出测试规模很小(8、27、8 个数据库),区间很宽,RESERVED 那一组的第一次注册实验就没通过预设门槛;在 BIRD 开发集上,阈值 3.0 反而掉了 2.93 分;成本是按标价乘日志用量算的,不是真实账单。GitHub 仓库目前标注为私有预发布,许可证还没定。
所以呢
值得带走的可能不是 33.3%,而是它顺手把大模型的榜单分数也拆开看了一遍。当一个模型能压缩进 9 GB 跑在笔记本上,同时又能把标准答案逐字背出来,评测方法本身就成了模型能力的一部分——你得自己确认分数里有多少是推理出来的。