10 月 16 日,NVIDIA 旗下 Nemotron Labs 低调上线新模型 Dory 1.0-4B。它没有发布会,却选了一条少有人走的路——循环(looped)语言模型:参数固定在 4B,"思考深度"是推理时可现场调节的旋钮。

循环架构:把思考预算做成旋钮

据模型卡描述,Dory 是 looped(latent-recurrent)的 normalized-GPT 架构,注意力层采用滑动窗口(SWA)与全注意力交错排布。核心机制是反复应用同一组共享层块——官方解释是,这样可以在每个 token 上花更多计算,以此扩展智能。推理时可选 1、2 或 4 次循环:循环越多,单 token 计算越重、精度越高,代价是延迟与算力。

官方推荐默认 2 次循环,并明确大部分精度收益来自第二次循环,之后边际递减。这相当于一份权重自带三挡"思考预算",快与准不再是二选一。

配套规格:上下文最长 256K token,BF16 精度发布,仅支持英文,许可证 OpenMDW-1.1,商用非商用都放行。训练沿用 Nemotron 数据集;后训练管线还包括推理轨迹病态重复过滤,以及对教师模型偶尔产出民族主义叙事的定向清洗——这类细节在模型卡里并不多见。

自报跑分:赢在指令遵循,输在知识

官方评测表把 Dory 的 1/2/4 循环与 Qwen3.5-4B、Qwen3.5-9B、Gemma 4 26B-A4B、Qwen3.6-35B-A3B 同表对照。先说明:这些数字全部是 NVIDIA 自报,暂无第三方复现。

赢面集中在指令遵循与 Agent 任务:IFBench 上 Dory 4 循环拿到 79 分,Qwen3.5-9B 只有 59,差距肉眼可见;τ³-bench(Banking)14.69 分是全表最高,把 9B 的 7.22 甩开一倍;长上下文 AA-LCR 的 71/73 也压过所有对照。代码侧,SciCode 35.11 高于 9B 的 28.21,SWE-bench Verified 61.8 对 61 基本追平。

但另一面的数字同样刺眼:GPQA Diamond 72.41 对 9B 的 80.93,HLE 10.89 对 15.43,知识问答 AA-Omniscience 只有 10.08 对 18.05,Terminal-Bench 2.1 的 22.2 也落后于 9B 的 24。规律很清晰——循环加的是推理算力,补不了参数里的知识。参数量决定"知道多少",循环次数只决定"想多深"。

生态位:笔记本能跑,但工具链还没合入

GGUF 量化版(Q5_K_M)约 3.4GB,模型卡直接给了 Apple Silicon 上 llama.cpp 的构建教程,聚合站 The Open Weights 也归入"笔记本可跑"一档。DGX Spark 上官方实测 MXFP8 量化对 BF16 提速 1.69-1.84 倍,NVFP4 提速 2.17-2.44 倍。

但尝鲜有门槛:vLLM 支持还在 PR#60149 评审中,llama.cpp 要走 PR#30306 源码构建,都未进正式版。现在上车的,都是愿意自己编译的工具链玩家。

所以呢

Dory 的真正看点不是某一列跑分,而是 NVIDIA 用一个 4B 模型给"小参数 + 测试时可调算力"这条路线投了一票。如果循环架构被验证,边缘设备的模型选择逻辑可能从"选多大的模型"变成"选几挡循环"。对普通开发者,等 vLLM 合入再上车不迟;对研究者,知识密度与循环深度之间那条边界线,值得盯住。