空间音频的难处不在把声音渲染得像,而在于让人听得出谁在哪儿。脚步声从身后传来、引擎声在右前方逐渐逼近,这些都要求声源的方向、距离和运动轨迹同时成立。过去的做法通常把生成和空间化拆成两段:先按文本生成音频,再用空间化算法把声音摆到指定位置。生成阶段管内容,空间化阶段管方位,链路短、组件成熟,但一做编辑就露馅——改一个声源,整张声场的几何关系都得重算,改动对象和被保留对象之间没有共享的表示。

一份可执行的场景计划

AMBIT 的做法是在音频前面插一层显式计划。作者把请求编译成 ScenePlan,里面写明房间类型、时长(1 到 648 帧)、声源清单、描述与转写、运动方式与起止方位(八个方位类别)、起止时间(五个相对阶段)、径向运动(自由、靠近或远离)。这些字段不是自由文本:整份计划由语法受限的贪心解码产出,编码词表共 4,096 个 token,包含 1,536 个文本片段、649 个帧值、1 度的角度分箱,以及 256 个覆盖 0.1 到 50 米的对数距离分箱。关键在于这份计划同时是生成的输入和编辑的接口:要改什么、保留什么,都写在同一份结构里。

同一个骨干干两件事

计划用自回归解码产出,声音用整流流渲染,两者共享同一套 Transformer 块:15 个共享块,宽度 1,024,16 个注意力头,连同接口与结构化头共 3.326 亿可训练参数。文本侧挂的是 Qwen3.5-0.8B 骨干,训练全程冻结,另外冻结的还有 Ambit CLAP 和 Ambit VAE;规划侧额外挂一个 rank 为 8 的 LoRA,只在自回归阶段生效。训练数据是 160 万条合成与实录 FOA 样本加 100 万组编辑对,VAE 另用约 100 万段 4 秒 FOA 片段预训练,机器是 8 张 L40S。评测侧用 8,000 条生成请求、5,000 组编辑对和 2,000 段 VAE 测试片段。

空间信息不能在重建里被吃掉

FOA 有四个通道,解码器一不留神就会抹平通道之间的相位关系。论文拿 DAC、EnCodec、WavTokenizer 做对照,自家 Ambit VAE 的全向加权 SI-SDR 是 6.39 dB,DAC 是 5.57 dB,EnCodec 只有 0.41 dB;方向误差 4.96 度,而对照里最好的 DAC 是 5.13 度。消融路径更能说明问题:只加空间协方差匹配,方向误差从 6.51 度压到 5.14 度,SI-SDR 从 5.63 涨到 6.08 dB;再叠倒谱项和 SI-SDR 项到 6.25 dB;最后靠分组 KL 配全向恢复做到 6.39 dB,强度一致性误差降到 0.04。

真正的硬骨头是编辑

生成数字漂亮,编辑数字才见真章。编辑内容质量六项(配对 CLAP、FD-CLAP、FAD、FD-PANNs、KL、LSD)上,Ambit 全面优于论文对比集里最强的基线 SwanWeave:配对 CLAP 0.84 对 0.68,LSD 1.27 对 1.65。更关键的是没被动过的部分有没有保住:未编辑声源的方向 MAE 是 0.17,而 Qwen3-Omni 加 DiT 的级联方案是 1.42、SwanWeave 是 0.90;绝对电平变化 1.65 对 20.94 和 8.40;角轨迹 RMSE 0.270 对 0.797 和 1.157。改一个声源,其余声源还能待在原地,靠的就是计划里显式写明了被保留的对象。

自蒸馏:让计划来教渲染

后训练阶段用了联合 Transfusion 在策略自蒸馏(OPSD):学生自己生成计划前缀,渲染也在学生计划实际走到的采样状态上做蒸馏,目标条件教师同时监督两种模式。对照持续 SFT、ReFL、GRPO 以及两个分支单独蒸馏,联合 OPSD 在报告的全部九项指标上都最好。相对 SFT,配对 CLAP 从 0.855 到 0.867,GCC 从 11.897 到 11.130,CRW 从 7.518 到 5.854。分支单独蒸馏的效果不齐:只在渲染侧蒸馏能压过 SFT 的每一项,而只在规划侧蒸馏相对 SFT 只在 LSD 和 FSAD 两项上有改善,其余反而变差。

泼点冷水

听感评测用耳机和固定双耳解码器,每个任务 400 个用例,合计 2,400 次系统输出呈现。Ambit 在空间遵循上拿 3.37 分,比论文对比集里最强的基线高 0.54 分,指令遵循高 0.29 分;编辑三项是 3.64、3.57、3.71,超过 Qwen3-Omni 加 DiT 的 3.51、3.26、3.44。但论文自己也留了几处短板:语音 UTMOS 只有 3.52,低于 Qwen3-TTS 的 4.18;音乐与音效上的 FD-PaSST、FD-OpenL3 仍低于 AudioX-Turbo;当前场景计划配置只支持约 15 秒;所有跑分都是论文自己的评测,社区尚无第三方复现。还有一处容易被误读:计划可执行率对比里,通用 Qwen3.5-0.8B 是 22.88%、2B 是 20.19%、4B 98.08%、9B 87.81%,自家规划器 100%,但论文明确说明对方只取第一次响应、不做修复或重试,自家走语法受限解码——这是两套解码设置下的比较,不是纯粹的模型规模对比。

所以呢

AMBIT 真正有意思的地方,是把空间音频当成一件有结构的工程来做:先写一份能被程序读懂、能被程序检查的计划,再照着渲染。这样做的好处不止空间精度——计划本身成了编辑接口,也成了可验证对象,后面接自动混音、虚拟演出、游戏运行时音频都能复用同一份表示。代价是链路更长、对计划语法的设计要求更高。论文全文见 AMBIT: Spatial Audio Generation and Editing with Executable Plans and Self-Distilling Transfusion。如果音视频工具链里已经在攒"结构化中间表示"这条线,这份工作值得当作参照样本读一遍。