NVIDIA Nemotron 3 Embed 登顶 RTEB:把 8B 旗舰检索能力蒸馏进 1B 部署款

7 月 16 日,NVIDIA 开源 Nemotron 3 Embed 嵌入模型家族,主打「agentic retrieval」场景。三款模型同日上 Hugging Face: - **8B-BF16** 旗舰款:RTEB 多语言榜 78.5 分登顶,MMTEB Retrieval 75.5 分。 - **1B-BF16** 高效款:1.14B 参数,经 ModelOpt 结构化剪枝 + 8B 教师蒸馏两轮压缩,RTEB 72.4 分,比上代 1B 模型错误率降 27%。 - **1B-NVFP4**:Blackwell 优化的 4-bit 变体,保留 BF16 99%+ 检索精度,吞吐翻倍、内存占用更低。 家族统一支持 32k 上下文、多语言与代码检索,并随附 NeMo AutoModel 微调与蒸馏配方,可直接用 NVIDIA NIM 或 vLLM 部署。 骨干网络来自 Mistral 的 Ministral-3,被改造成双向编码器做对比预训练,再在法律、金融、医疗等数据上微调;NVFP4 变体用量化感知蒸馏(QAD)稳住长输入精度。 值得关注的点:做企业 RAG、agent memory、代码检索的团队,过去常被迫在「精度高的 8B+」和「能部署的 1B」之间二选一。Nemotron 3 Embed 把高质量嵌入拉回到 1B 也能打的部署甜蜜点,加上 Blackwell 专属 NVFP4 路径,推理成本和吞吐比上代有质变。Boomi、Palantir、ServiceNow、Zoom、turbopuffer 等已在评估接入,工程完整度明显高于多数开源嵌入模型,值得认真看一眼。