频谱切分是音源分离模型的经典前置步骤:band-split 架构把频谱手动切成预设频段,每个频段编码成一个 token。问题是边界对所有输入都一样——而一段混音里信息密度高的位置是随内容变的,固定边界要么把有区分度的成分切进同一频段糊掉,要么在低信息区浪费 token。
清华大学 Bingzhe Zhang、Kai Li、Xiaolin Hu 团队在论文《Learning Where to Split: Dynamic Band Splitting for Audio Source Separation》里给出的答案是:边界本身可学习、逐输入自适应,而 token 预算封顶不变。
DBS 怎么让边界动起来
Dynamic Band Splitting(DBS)是端到端框架,在固定 band-token 预算下让边界位置与频段宽度随每条混音自适应,流程三步:
- 边界预测:时序卷积与逐频率 bin 幅度统计喂给 BiLSTM,为每个候选切分点输出边界概率;
- 硬 Top-K:每个粗区域内选分数最高的切分点,形成恰好规定数量的连续频段,token 数恒定;
- 内容加权池化:把频段信息压成紧凑 band token。
分离完成后,token 被平滑扩展回原始 STFT 网格、沿频率精修,再用频率共享解码头输出复数掩码。
数字长什么样
论文在 DnR v2、MUSDB18-HQ(音乐)、EchoSet(语音)三个基准上对比 DBS 与对应静态分频模型,关键结果:
- 相对文献已报告的 BSRNN 成绩,DBS-BSRNN 在 DnR v2 上把平均 SI-SDR 从 7.03 dB 提到 9.07 dB,相对提升 29.0%;
- 同为 128 band-token 预算,静态 BSRNN 对照 7.69 dB,DBS 版 9.07 dB;TIGER 骨干从 8.74 提到 10.13 dB(一作在 HF 论文页评论区补充);
- BSRNN、TIGER、BS-RoFormer、MelRoFormer 四种骨干全部获益。
消融有两个值得细看的结论。其一,粗区域从 4 个砍到 2 个,平均 SI-SDR 从 9.07 掉到 8.32 dB,砍到 1 个掉到 6.30 dB——预算没变,边界全挤向低频。其二,把训练好的 DBS 在推理时换回固定 BSRNN 布局(不重训)得 8.62 dB,与单独训练的固定布局 8.67 dB 只差 0.05;纯边界摆放贡献 +0.45 dB,相对均匀切分 +1.27 dB。
为什么值得看
论文的核心姿态是把音频频谱当成 token 预算分配问题:预算封顶,分配随内容动——与 MoE 按需激活、动态深度推理在哲学上同构,资源总量不变,搬到信息密度高的地方。对音源分离领域,这说明 band-split 沿用多年的「手动定边界」默认做法确有可学习的余地。
工程开放度完整:代码开源于 GitHub(JusperLee/Dynamic-Band-Splitting),DBS-BSRNN-DnR、DBS-TIGER-DnR 两个预训练模型上了 Hugging Face,另有可视化边界的 HF 试听 Demo。
一句提醒:29.0% 是论文口径,分母是文献已报告的 BSRNN 成绩;换自训静态对照时绝对数字不同(7.69 vs 7.03),引用时看清分母。对语音前端、影视音频后期、音乐检索团队,这是可直接跑 demo 的开源工件。下一个值得追问的是:这套「学切分位置」的机制能否搬到其他按网格切 token 的模态,比如视频的时空块切分。
参考:arXiv:2610.14993;项目页 cslikai.cn/Dynamic-Band-Splitting