让模型写代码画图,有一个常被忽略的坑:代码能跑,画却是错的。构图偏了、颜色不对、运动轨迹完全跑偏——程序在语法层面无懈可击,视觉层面一塌糊涂。9 月 28 日挂上 arXiv 的 MaLiang-Harness 论文给这个现象起了名字:Program-to-Visual(P2V)鸿沟,并顺手搭了一整套生成-质检-修订流水线,登上 Hugging Face 日榜第二名。
什么是 P2V 鸿沟
可执行程序能显式控制图像和视频的构造方式,这是它比提示词强的地方。但生成可运行的代码只是视觉创作的起点:程序完全可能在无报错运行的同时,违反要求的构图、外观或运动。论文把「代码正确」与「画面达标」之间的落差定义为 P2V 鸿沟。这个定义本身就有价值——此前大家笼统说「模型画得不好」,现在有了可度量的切面:生成成功、视觉质量、计算成本三个维度分开算。
解法:生成-检查-修订闭环
MaLiang-Harness 让多模态大模型编写绘图与动画程序,经 Canvas、SVG、Three.js 等后端渲染成 PNG 图像或无声 MP4 视频,再检查输出、修订代码,循环推进。三个机制撑起闭环:PEG 持久化保存程序与任务上下文,每次提交带修订快照;TGP 把每次编辑与渲染证据关联留痕;REV 支持从历史修订恢复重跑,并在导出前复核当前修订。项目基于 Deep Agents 构建,带 CLI、聊天界面与批量评测工具,代码开源在 GitHub。
实测:100% 能生成,76.9% 才达标
团队在自建的 MaLiang-IBench(50 个图像任务)上评了 11 个闭源 MLLM,在 MaLiang-VBench(13 个视频任务)上评了 4 个。GPT-6-Astra 两个基准都拿到 100% 生成成功,96.0% 的图像任务与 76.9% 的视频任务通过全部质量阈值。更扎心的是另一个发现:通用能力分数与视觉生成表现明显错位,总分相近的模型,满足视觉需求的能力差距悬殊——通用榜单在这里几乎失去预测力。
所以呢
两条判断。其一,可编程生成是扩散模型之外的另一条路线:要精确控制排版、结构、运动,写代码天然比采样可控,前提是补上「自查-修订」这个环节,MaLiang 把它工程化了。其二,选型别再迷信通用跑分,视觉生成这种复合能力,得用任务专属基准说话。项目取名「马良」,中文语境很难不想到神笔马良——神笔的从来不是笔,是那双会看、会改的眼睛。