一个在 CIFAR-10 上测试准确率 97.24% 的神经架构搜索方法 DARTS,换到同样跑 CIFAR-10 的标准测试场 NAS-Bench-201,成绩直接掉到 39.77%。这是新论文《Large Language Models as a Universal Searcher for Open-World Automated Machine Learning》开头讲的故事:今天的 AutoML 工具换个搜索空间就崩,架构、超参、数据配比还要分开调,离「自动」二字尚有距离。这篇论文给出的解法,是训练一个 LLM 来当跨域通用的搜索器。

先把所有设计选择变成数字

论文提出的 NCode 是一套统一数值编码:不管你是网络结构(DAG 每条边选什么算子)、训练超参还是数据配比,全部映射成离散数字序列。异构的 AutoML 决策由此落进同一个离散空间,LLM 看到的永远是一串数字加一份历史成绩单。训练数据来自 NAS-Bench-301 的约 10^21 个「架构-性能」对,团队对搜索空间做概率 0.5 的随机边剪枝造出大量子空间,最终攒出约 22.8 万条优化轨迹——全部来自单一视觉分类任务。

排序题比作文题好做

方法里最关键的一步是目标重构:不让 LLM 直接生成完整配置,而是给它历史轨迹加一个候选池,让它挑出最有希望的那一个。消融给出了残酷对比——在 ImageNet16-120 上,去掉排序重构、强迫模型直接生成 NCode,测试准确率从 46.51% 崩到 42.53%。主搜索器用 LLaMA-3.1-8B 做全参数微调,上下文窗口设到 20480 token 以装下长历史。也就是说,模型在一域学会的只是「怎么挑」,没有任何目标任务的梯度更新。

只学过一个域,三个模态零样本

部署阶段全部零样本:图像分割上搜 SAM 的 LoRA 设计(约 10^19 的架构空间),在医学影像域搜索,配置零样本迁移到伪装物体、阴影、农业叶片和遥感道路数据集,CVC-612 上的 S-measure 比最强基线 Conv-LoRA 绝对高 2.5 个点;音频上做 3D-Speaker 说话人验证,平均 EER 9.21%,优于 ERes2NetV2 的 9.37% 和 OptFormer 的 10.20%;规模最大的一仗是文生图——联合搜索十亿参数级 Diffusion Transformer 的架构、超参与数据配比(论文结论称 1.3B),总计投入 896 GPU 天,论文报告 GenEval 总分 0.91。消融数据同样说明联合搜索的价值:只搜架构得 0.86,只搜超参与数据配比得 0.89,三者联合 0.91。

GRPO 训出 CoT,把搜索器的脑子剖开

团队还用 GRPO 给 Qwen3-8B 训了自解释思维链,把搜索器的推理归成六种行为模式,并发现清晰的策略转变:早期主要靠邻域变异(在高分配置邻域做小扰动)广泛探索,后期转向锚定利用。策略还会随任务复杂度分化:在简单的 NAS-Bench-201 上,全局组件分布策略的使用率从 10% 涨到近 20%;而在异质的文生图联合搜索任务上,这个比例始终压在 5% 左右——模型「知道」联合优化时不能靠简单数数。

论文地址:https://arxiv.org/abs/2611.12791

所以呢

这篇论文值得记的不是某个榜单数字,而是两个判断:其一,LLM 的排序能力比生成能力更可迁移——挑出好答案比从零写出好答案,跨域门槛低得多;其二,AutoML 的下一步未必是更精巧的专家算法,而可能是一个在通用优化轨迹上预训练、到哪都能用的搜索器。当然,896 GPU 天的搜索成本说明「通用」并不便宜,这套方法也还没碰过 LLM 自己的预训练搜索空间。当调参这件事被模型学会,调参工程师的护城河还剩多宽?