9 月底,IQuest 在 Hugging Face 放出 IQuest-Q1 的权重:3200 亿总参数、每 token 只激活 150 亿、上下文 524,288。当时它更像一条社区快讯——开源权重、vLLM 与 SGLang day-0 支持,剩下的是社区自己扒模型卡。

真正把这件事顶到台前的,是 10 月 22 日公开的完整技术报告。报告第一次摊开 8 项智能体与推理基准的结果,上线后也进了 Hugging Face 每日论文榜;更关键的是,它交代了这个模型是怎么被造出来的。

最刺眼的一组数字在长程任务上。Terminal-Bench 2.1 拿 83.2,同一批模型分布在 66.0 到 89.1 之间,看着正常;可换到 3.0 版本只剩 17.9,4.0 版本 22.7,而 Claude Opus 5 在这两个版本上是 42.7 和 53.9。这不像是评测换代,更像是模型只在某一代 harness 上被调教过。

规格:320B 摆在桌上,15B 在跑

据 IQuest Research 发布的技术报告,该模型由 IQuest 团队打造,定位是命令行里的编码与通用智能体。总参数约 3200 亿,每 token 激活约 150 亿;稀疏 MoE 的常规配置是 256 个专家、每次激活 8 个,约占 3%。模型卡给出了完整规格。

骨架是 88 层 Transformer,隐藏维度 3072,查询头 48、键值头 8,头维度 128。注意力栈按 3 层滑动窗口 + 1 层全注意力交错,窗口 4096;位置编码只旋转每头 32 维。第一个 Transformer 层干脆不做稀疏路由,改用稠密 MLP,官方给的理由是缓解模型最早期专家负载不均衡。

训练:把稳定性当成一等公民

预训练用了 Stable SplitNorm、Muon 优化器和 μP 参数化。Stable SplitNorm 的思路是进入 FFN 的残差流不做归一化,换取 Post-Norm 式的深度利用率;μP 负责学习率在不同规模间的迁移,论文称在宽度与深度各 4 倍的跨度上验证了超参迁移,搜索是在一个隐藏宽度 896、18 层的小代理模型上做的,零样本搬到目标规模。

一个受控对比值得记:与 Qwen3-30B-A3B 式的 MoE 设计、同一份训练数据相比,论文报告 1.93 倍的扩展效率,达到同等训练损失大约只需 52% 的训练算力。论文还外推出一个「临界模型规模」概念——按激活参数约 5720 亿、按总参数约 12 万亿,意思是这套配方在远大于当前规模时仍留有稳定性余量。

后训练:任务、harness、四个专家

后训练是这套流程最费功夫的部分。任务与环境一起合成:通用智能体任务跑在真实 API、MCP server 和工作区文件上,编码任务跑在从代码仓库搭出来的可执行环境里。RL 采用多 harness、多版本策略,一个共享策略同时在 Claude Code、Codex、OpenCode 等不同 harness 及其不同版本上训练,每个 episode 指定任务域、harness 版本、环境和评估器;奖励只认可验证的终态正确性,并区分策略自身的错、环境或 harness 的错与评估器的错。

RL 最终产出四个专家,分别擅长终端交互体验、多 harness 操作、长程任务和通用智能体。MOPD(多教师在线策略蒸馏)把这四个冻结专家合并进一个从 SFT 第二阶段初始化的学生模型,之后再用残差模型合并把不同阶段的 checkpoint 折进来。奖励作弊的防护分三层:环境准备、运行时拦截、轨迹审计。

跑分:强在编码,短板在长程

官方表格里,DeepSWE v1.1 64.6、SWE-bench Multilingual 80.3、NL2Repo-Bench 63.0、CyberGym 84.5、Terminal-Bench 2.1 83.2、GPQA Diamond 93.3、IMOAnswerBench-Verified 93.0、BrowseComp 85.5。同一张官方表格里,CyberGym 高于 GPT-5.6 Sol 的 83.6,AutomationBench 52.7 高于 Claude Opus 5 的 50.3,τ³-Banking 51.8 也高于 Claude Opus 5 的 44.7。

但 Terminal-Bench 3.0 的 17.9、4.0 的 22.7,和 Claude Opus 5 的 42.7、53.9 摆在一起,差距很难解释成「harness 换代」。另外这些数字都是厂商自评:不同模型的 harness 与运行时上限不统一(CyberGym 6 小时、Terminal-Bench 2.1 是 8 小时、3.0 和 4.0 给到 10 小时),还有一项 IQuest-CLIBench 是自家内建基准。

它参与了自己的下一代

最耐人寻味的一段在论文第 6 节:一个基于该模型的智能体在人工监督下自我迭代。它在一次长程任务里因工具名与参数不匹配报错 35 次,随后回溯 6054 次工具调用,定位到训练数据严重偏向单一工具调用 schema、部分记录存在定义与参数错配,提出清洗不一致记录并用多 schema 增强数据;人类专家审核后才批准训练。该轮训练用了 23.5 亿 token 和 938.7 GPU 小时。

安全侧也有实操:论文报告一次为期三天的部署中,人类安全专家借助该模型产出 30 份漏洞报告,均经同行独立验证,并对影响开源项目的问题做了负责任披露。

所以呢

限制写在模型卡里也很直白:纯文本输入,没有图像、音频或视频;工具调用走 IQuest 自有 chat template 格式,需要兼容的解析器;真实 CLI 任务里的迭代调试仍可能忽略约束、重复失败路径,需要人盯。

所以真正的看点不是某个榜单名次,而是那套「模型参与自己下一代」的循环有没有闭环。如果 512K 上下文加 88 层混合注意力意味着 CLI 智能体正在从「应用层套壳」变成训练目标本身,那么下一个问题就不是谁的分更高,而是谁先把这条流水线跑顺——榜单会换版本,harness 也会换代,但训练与评测之间的这层耦合,才是这轮工程投入真正押注的东西。