开视频会最烦的不是噪声,而是几个人同时说话——想听的声音被淹在重叠人声里。目标说话人提取(TSE)就是从混合音频抽出目标人声音,纯音频方案在真实场景常翻车。10 月 23 日,清华机器学习组(thu-ml)的 arXiv 论文给出新路线:把目标人的嘴部视频也喂给模型——嘴型对上,声音就是你的。工作 9 月已被 NeurIPS 2026 接收,10 月 29 日登顶 Hugging Face Daily Papers(149 赞)。

真实场景的考卷:RealSSA

论文一半贡献是基准:现有 AVTSE 基准把说话人数固定为两人,忽略近/远场干扰、混响与突发噪声。RealSSA-Sim 提供 100,826 训练 / 9,133 验证 / 9,169 测试的仿真场景,近场干扰说话人 1-5 个动态变化,远场再叠 10-15 个,覆盖小会议、室内、公共场所、户外四类环境;RealSSA-Real 是 54 段真实录音配对音视频(40 录音、10 说话人、8 场景、83.99 分钟),留作独立测试集。

一次前向,五十万可训练参数

模型侧,Falcon 在单次 encoder-decoder 前向完成多尺度时频分离;视觉通路用冻结的 11.2M 参数 FRCNN 唇读编码器,整体可训练参数仅 0.5M(总参 11.72M)。训练上的零开销技巧是 encoder 空间说话人对比损失:拿近场干扰人声当负样本,零推理成本压制近场泄漏,且跨骨干迁移。论文报告在 RealSSA-Sim、LRS2-2Mix、LRS3-2Mix、VoxCeleb2-2Mix 上取得最佳提取质量:RealSSA SI-SNRi 7.7dB、SDRi 8.2dB,DNSMOS 3.276 与 Swift-Net-12 并列最佳;对比因果 AV-TFGridNet,参数省 91.9%、计算量降 20.2 倍、GPU 延迟降 11.1 倍,2 秒片段在 RTX 3090 上单次推理 51.3ms、内存 125.3MB。

能直接开会的工程完整度

工程同样完整:开源的 Falcon Studio 用 MediaPipe 在浏览器追踪嘴部、模型本地跑,BlackHole 虚拟声卡把分离人声送进 Zoom 或腾讯会议;以 2 秒为窗口、每跳输出 0.5 秒,M5 Pro Metal 单窗口约 0.12 秒,支持 Metal/CUDA/CPU。权重在 Hugging Face(JusperLee/Falcon 与 Falcon-Big),代码权重均 Apache 2.0。

边缘部署的信号,和一道许可裂缝

我的看法:它的价值不在跑分,而在同时严肃对待「轻量」与「真实」——0.5M 参数、51.3ms 延迟、125.3MB 内存,能塞进耳机、助听器和会议客户端;RealSSA 把「会议室三人同时说话、远处还有一桌人」首次写进考卷。但注意许可裂缝:代码权重 Apache 2.0,数据集却 gated,Sim 为 CC BY-NC-ND 4.0、Real 为研究用途条款,README 明说代码/权重许可不覆盖数据集条款,复现负样本对比训练得先过数据申请门。

所以呢:当多模态大模型卷参数规模,语音前端正向「更小、更真实」下沉。看嘴型分人声,离你的下一副降噪耳机也许只差一次工程迭代。(arXiv 论文 / GitHub 仓库)