商汤 SenseNova-Vision:把「检测/分割/深度估计」统统塞进同一个生成式多模态基座

商汤科技联合上海人工智能实验室(S-Lab)、南洋理工大学和香港中文大学,在 arXiv 上推出 SenseNova-Vision,把计算机视觉任务重新定义为「统一多模态生成」问题。 传统 CV 模型要为检测、分割、深度估计、关键点等不同任务分别设计专用预测头,而 SenseNova-Vision 用一个统一多模态基座,通过自然语言指令加可选视觉提示,直接生成文本(符号输出)、图像(密集空间预测)或图文混合(组合任务)。论文显示,这一单一模型在结构化视觉理解、密集几何预测、分割、多视图几何等任务上均可对标专用系统。 更关键的是,团队同步开源了 SenseNova-Vision Corpus —— 一个跨文本、图像和混合目标的视觉指令-响应语料库,以及配套的预训练权重(GitHub: OpenSenseNova/SenseNova-Vision)。CV 社区第一次可以像用 LLM 一样,用一个基座替换整套视觉工具箱。 这条路线对工程界的意义远大于一个 SOTA 数字:它把「视觉能力即文本生成」的范式推到工程级,未来通用基座不必再外挂 YOLO、Segment Anything、Depth Anything 各自的小模型 —— 一个生成式基座端到端处理。这可能是 CV 行业从「任务驱动」转向「生成驱动」的下一道分水岭。