一段 360 度环绕商品的视频,如今只要 4 张参考图。10 月 26 日,KAIST AI 联合仁荷大学、FLIPTION 的团队把 OmniShowcase 挂上 arXiv(编号 2610.35684),三天后冲上 Hugging Face Daily Papers 10 月 29 日榜单第 2 名,拿到 42 个点赞。它瞄准的问题非常具体:主体到视频(S2V)生成里,镜头一旦转到参考图没拍到的背面,模型就开始"编"。
单张参考图撑不起 360 度
subject-to-video 的常规做法是拿一张参考图,让视频模型在相机移动时自己推断主体看不见的部分。近来的多视角方法把参考扩到几张图,信息是多了,但没有显式告诉模型这几张图背后连接的 3D 结构是什么;更隐蔽的问题在训练数据本身——论文指出,现有数据不保证视角变化后仍是同一个 3D 主体,模型等于在学一门没有标准答案的课。
两件武器:几何造数据,法线当转台
第一件武器是全自动数据合成管线:从单个精选 3D 资产出发,用 Blender 同时渲染目标轨道视频和 4 张参考视角,再把目标主体合成进文本驱动的场景。关键细节是只对背景做 inpaint,主体背面永远来自真实渲染,不给模型"幻觉"的机会。由此得到 Showcase-4K 训练集:覆盖 12 种相机运动、88 种轨迹配置、约 4000 条视频,每条都带从重建导出的表面法线条件;另有留出的 ShowcaseBench 评测集,直接附上每条视频的源 mesh 与相机参数——这种"自带标准答案"的评测集在视频生成领域相当稀缺。
第二件武器是几何条件:把 4 张参考图在 3D 里重建,渲染成一圈"表面法线转台",与参考图一起送进视频模型的参考通路。底座是 Wan2.1 图生视频扩散 Transformer,只做轻量 LoRA 微调;法线转台与生成帧之间不需要逐帧对齐,也不需要逐主体优化。转台本身是固定的偏航扫描,但生成相机并不被它绑死——轨迹由提示词决定,从 360 度环绕、螺旋下降到推拉摇移都能走。
数字:几何误差砍半,美学不冒进
在其自建 ShowcaseBench 上,OmniShowcase 身份分数 DINO 0.799、CLIP 0.925,几何指标 GT-CD 0.0824,在 Phantom-MV、MAGREF-MV、MV-S2V、3DreamBooth 四个多视角基线中,身份与几何相关指标全部居首;相对其中最强者,几何误差在留出集上约低 52%、在真实物体数据集 NAVI 上约低 46%——"砍半"的说法来自作者在论文页的自述,与项目页量化表可以互相验算。值得注意的是美学得分 0.574,低于 MAGREF-MV 的 0.614:几何一致性是硬赢,画面好看程度只算持平。消融同样做得到位:去掉法线、换成带纹理渲染、或抽稀转台,MEt3R 从 0.190 退化到 0.26 上下,证明法线条件确实是收益来源。
冷水:论文先行,四件套一件没放
GitHub 仓库 10 月 29 日才创建,目前只有一个 initial commit、8 个 star。README 的发布清单上,Showcase-4K、ShowcaseBench、推理代码、训练代码四项全部未勾选;Hugging Face 页面"引用本论文的模型"数量为 0。也就是说,论文与效果演示先行,可复现的全套工件都还在路上——急着拿数据集做 3D 一致性训练的团队,现在能做的只有点 star 等消息。
对行业来说,这篇论文的方向感比单点跑分更值得关注:视频生成的下一个竞争点,可能不在更大的模型,而在谁能把 3D 几何变成训练数据与条件信号。法线转台这套做法成本不高(LoRA 级微调),却直接消掉了"背面靠编"的老毛病——当商品展示、数字资产这类应用开始要求 360 度一致性时,先解决几何的人先拿到门票。
参考:arXiv:2610.35684(https://arxiv.org/abs/2610.35684);项目页 justin4ai.github.io/OmniShowcase;GitHub github.com/justin4ai/OmniShowcase