语音Agent要在用户说话时把字转出来,还得扛住成千上万通并发电话。让模型不看未来音频靠给注意力加掩码,但掩码后的自注意力仍要缓存过去的key和value。论文给了个具体的账:18层、d=1024的编码器在80毫秒帧上,每分钟音频、每个调用方吃掉约110MB的fp32缓存;同规模的无界因果注意力十分钟就能累积超过1GB。状态随通话时长线性上涨,服务器成本也跟着涨。
论文(E-Gaborformer,arXiv:2611.08092,作者 Nir Krakowski、Tamir Cohen、Ohad Zohar、Chen Zarfati的解法是:不让注意力承担记忆。
把过去压进固定大小的状态
E-Gaborformer保留E-Branchformer的模块结构,换了三样东西。
第一样是全局分支。层按GGGS模式排列——每四层里三层是Gated DeltaNet-2递归层(GDN-2),第四层才是128帧窗口的因果滑窗注意力。递归层每帧只更新一次固定大小的矩阵状态(论文里是64×64);注意力层只保留最近128帧(约10.24秒)的环形缓冲,提供压缩状态给不了的精确回忆。
第二样是卷积核。论文没让网络自由学习卷积核,而是锁在一组固定因果Gabor原子张成的空间里:16个单位范数原子,由2个高斯和7个对数间隔的波包(每帧0.03到0.4个周期,各拆成余弦和正弦)组成。核长31、帧长80毫秒时,一个滤波器跨2.48秒,波包中心落在0.375到5Hz,覆盖短语和较慢音节调制的频段。每个通道只学16个系数而不是31个数,因果性自动成立——包络在当前帧达峰后向过去衰减。代价是字典病态(Gram条件数约8×10⁶)。
一个反直觉的坑:递归分支一开始是哑的
第一轮18个带GDN-2的因果训练中,有4个整整一个epoch都没走出初始CTC平台期——模型只吐blank,损失平躺。定位后发现,GDN-2分支的输出RMS只有0.005到0.006,同模型注意力分支是0.28到0.38。原因在输出路径:递归输出小到落在归一化epsilon以下,RMSNorm没法放大它,网络干脆学会绕过递归分支。
修法很轻:把SiLU输出门换成sigmoid(起始值0.5),再把RMSNorm的epsilon从10⁻⁵降到10⁻⁶,都不加参数。GDN-2分支起始RMS回到约0.09,之后36个带GDN-2的因果训练全部走出平台期,改之前是18个里停4个。
这个细节值得记住:混合架构的失败模式常常不在架构本身,而在某个分支被数值范围掐死。
受控对比:和同体量E-Branchformer硬碰
论文在LibriSpeech-100上做了严格因果的对照:所有模型共用同一套前端和训练配方,只报告开发集。研究版模型12层、d=256、27.6M参数,对阵26.8M参数的E-Branchformer(ESPnet移植版)。三个epoch时,E-Gaborformer在dev-clean/dev-other上是26.2/44.5,对照组27.1/45.1,三个种子在dev-clean上分别领先1.4、0.2和1.2个百分点;十个epoch后两边dev-other都是39.2%,dev-clean上还低0.3点。
达到某个给定dev-clean WER比对照组早5%到18%。架构筛选跑了36种编码器配置、约160次训练。拆开看:两处Gabor卷积换成无约束深度卷积,dev-clean WER涨1.2点;所有注意力层去掉,涨1.1和1.4点。3:1混合和1:1精度相当但注意力层少一半。
生产规模:19MB状态和Nemotron的对比
放大到生产规模:18层、d=1024,14层GDN-2配4层滑窗注意力,编码器598M参数,配RNN-T解码器,整模626M,和Nemotron 3.5 ASR Streaming(0.6B)差不多大——后者是NVIDIA公开的600M参数流式转写模型,基于Cache-Aware FastConformer-RNNT架构。训练用了约1.2万小时希伯来语和9.6万小时英语,前10750个更新里Nemotron还当了老师。
状态这边:GDN-2状态3.7MB、注意力窗口4.2MB、Gabor卷积缓存8.8MB,加上预测网络约2MB,共约19MB,和通话长度无关。
对比结果来自英文语音客服真实流量(24段录音、规范化后1214个参考词):Nemotron 3.5 ASR Streaming的WER是14.0(因果)和13.3(480毫秒前瞻),E-Gaborformer两种模式都是9.6。因果模式下低31%,Nemotron开前瞻后差距是28%。前瞻对Nemotron有帮助(降0.7点),对E-Gaborformer毫无损失,因为18层里只有4层能看到未来帧。
论文自己给了限定:这批流量正是E-Gaborformer的训练数据,Nemotron还当过早期老师。所以这更接近同一团队的工程自证,不是独立评测的中立排名。
和上一版自家生产模型相比,希伯来语三组测试集的WER相对下降11%到20%(通用12.3→10.9,困难14.2→11.5,人名密集10.2→8.2),英语持平,只有地址、URL和邮箱那组涨了7%。
训练侧:把RNN-T的损失算对
论文还顺手治了RNN-T训练慢:每个格点只需要两个log概率(发下一个token或者发blank),却要在完整词表上跑log-softmax。做法是把前向-后向递归放到两类格上,梯度用闭式解写出来,损失和梯度与完整格完全等价;配套把输出层补齐到128的倍数、深度卷积改写成Toeplitz形式、单卡每次更新从7.55秒降到2.90秒(2.6倍)。
所以呢
这篇论文的价值不在「又一个更低WER的ASR」,而在于它把「流式状态」当成了一等公民。过去几年注意力越来越强,代价是「状态随音频长度增长」被默认接受了。E-Gaborformer的选择是:递归层扛长程记忆,注意力层补精确回忆,固定字典的卷积核压小特征提取的搜索空间,换来一个和通话长度无关的状态大小。
对做Agent的人,这个换算很直接:长通话下状态不再涨,就是并发成本不再涨。19MB听起来不大,但乘上并发数乘上通话时长,就是一条完全不同的成本曲线。
论文列出的下一步也很诚实:更长的受控训练、发射延迟测量、多分钟长流评测——恒定状态最大的价值场景,恰恰是它还没测的那个。
那么问题来了:如果递归状态、注意力窗口、卷积历史都是固定的,「上下文」这个概念在流式语音模型里,到底还剩下什么?