机器人与自动驾驶圈有个长期痛点:VLA(vision-language-action)和 world-action 模型的感知,大多直接搬通用视觉语言或视频生成 backbone,可这些 backbone 在杂乱场景、小目标、闭环控制要的速度上频频失手。XPENG AI(小鹏)团队 9 月 30 日放出的 GroundingPI,就是冲着这个缺口来的:一个 4B 参数的视觉 grounding 基础模型,论文当天上 arXiv,权重、源码、部署与批量标注指南随后十天全部到位。
4B 参数,34 项基准自评登顶
GroundingPI 做的事很纯粹:给定一张图和一句指令,输出点或框,坐标在共享词表里量化成 0-999 网格上的整数 token(GAM spatial-token 协议)。训练分三段——多模态与空间预训练、监督微调、GRPO 强化学习,监督信号来自公开数据集加自建数据引擎。官方在 34 项 grounding 基准、44 个 baseline、11 项感知能力上做了评测:平均 73.68%,论文自评超过更大的 GPT-6 Astra(71.54%),并称建立了新的 state of the art。一作还在 Hugging Face 论文页评论区补充:用过 Grounding DINO 的,可以直接换它试试。
架构全是开源件,交付按工程标准来
拆开看,GroundingPI 的三个组件都是现成货:MoonViT-V2(出自 Kimi K3)视觉编码器、可学习多模态 projector、Qwen3-4B 语言主干。思路不是发明新架构,而是把「感知」当成一等公民专门预训练。交付侧相当工程化:vLLM Transformers 后端部署、OpenAI 兼容 API、BF16 精度、16384 上下文、TP=1 单卡即可跑,官方标注的测试硬件覆盖 NVIDIA B300/B200/H200/H800 和 PPU。任务面覆盖检测、指代框、点定位、OCR、文档版式、GUI grounding。许可为 Apache 2.0,Kimi 衍生部分另守 Kimi K3 License。
下游才是真正的卖点
单看 grounding 分数只是开胃菜,论文的重头在下游迁移:RoboTwin 2.0 上,它作为视觉 backbone 在全部 4 个分布外设定里超过所有参评主流 backbone,最高相对提升 24.8%;RoboCasa-GR1 上,用 50% 演示数据训练就能压过用 75% 数据的 baseline——数据效率的信号比绝对分数更值钱;nuScenes 自动驾驶开环测试平均 L2 误差 0.296 米。
自评成绩单,冷水和信号各一半
必须说清楚:73.68% 超 GPT-6 Astra 这类声明,目前全部来自官方自评,论文与 GitHub README 两份官方工件互相印证,尚无第三方独立复现,读的时候心里打个折。不过方向本身值得认真对待——通用 VLM 当感知器是「什么都行、什么都不精」,把感知单独拿出来专门预训练,本质是给具身系统配一个 System-1 基础模型,和世界模型派「快慢双系统」的叙事同向。另一个更有信号量的细节:小鹏今年已经连续放出 TuringViT 视觉基座、X-AuT 车载语音剪枝、再到这次的 GroundingPI,车企 AI 团队在做「基座化」输出,这股趋势比任何单个模型的分数都更值得关注。对具身和自动驾驶团队来说,现在多了一个可上手的开源感知基座;对通用 VLM 团队来说,「感知专门化」这条岔路值得盯住。
参考:论文 arXiv:2609.39601;代码 github.com/groundingpi/GroundingPI