把语音转成文字、再交给大模型理解,这条路子走了好几年:你听到的情绪、口音、停顿,先被压成一行 token,再送到模型面前。
10 月 23 日,Block 旗下那支小型 AI 实验室发布了一个反着走的模型。它叫 Dessa,是全双工语音到语音模型:输入是声音,输出还是声音,中间不经过文本。官方页面在 block.xyz/dessa。
它到底反在了哪
Block 的说法很直接:从零开始训,训练材料只有人类对话的录音,没有文本,没有预训练模型。它是真正的全双工——边听边说,能在对方说话时插话,也能只回一句"嗯"这类 backchannel。
官方 demo 里,它在句子中间笑出声;对方卡住电影名时,它把句子接完了;有人让它大声点,它就变大声。这些录音号称现场对话,没人操纵。
只有声音当训练信号,难度远超直觉。一句话的音频数据量,是同样这句话文本的成千上万倍;而且语音从不重复,同一句话录两遍,波形都不一样。婴儿没看过一个字也学会说话,模型行不行?
答案是行,但训练只动用了一台 NVIDIA GB200 NVL72——单台,不是集群。
真正有意思的不是"首个"
官方页面有一句话,Block 自己加了限定语:「据我们所知」,这是第一个只从人类语音训练、却能进行逼真实时对话的 AI。这个判断目前只有 Block 自己背书,没有第三方复现,更像待验证的问题。
更值得琢磨的是另一组数字。Block 称 Dessa 学语言用的词数,比文本大模型少了几百倍。Crypto Briefing也提到:未给详细对比口径。
如果这个方向成立,"语音是不是比文本更省的载体"就要被重算。行业这几年拼命压缩 token,理由都是"文本太贵";Dessa 换了个角度——也许人类真正用来交流的信号,本来就不是文字。
没有权重,没有跑分,只有 demo
这是最需要冷静看待的地方。Block 没有公布参数量、数据集规模、延迟数字,也没有正式 benchmark,公开的只有自己挑的演示录音,性能未经独立评估。
第三方看完 demo 也点了出来:Crypto Briefing 提到,部分演示里模型会认错说话人、会突然换话题。AI Chat Daily 同样定性为研究预览,开放范围只给一小批 AI 安全研究者。
先给安全研究者、再给用户,这个顺序本身有意思。一个从零学会解读情绪的模型,先问的是"它有什么风险是我们没想到的",而不是"怎么塞进客服系统"。
这支实验室是谁
这支队伍叫 Team Dessa,负责人 Ragavan Thurairatnam,成员多半来自多伦多的语音 AI 创业公司 Dessa。他们自称从 2012 年起做深度学习,生成式语音模型做了超过八年,直接向 Jack Dorsey 汇报。
Block 给的三个理由是:好奇心、让人和 AI 理解得更好,以及安全。后两个其实是一件事:如果 AI 能听出声音里的痛苦,就不该在对方正难受时继续往下走。团队原话是,AI 越来越强,却几乎听不见人声音里的情绪。
落地还早,但问题值得追
Dessa 目前没有公开权重,也没有更完整的发布时间表。相对硬的信息是:推理快于实时,能在 M4 Max 及以上的 MacBook Pro 上本地跑——这一点被三家来源确认。
所以现在下结论还太早。但它掀掉了一个默认很久的前提:语音 AI 之所以要过文字这一关,是因为没有别的办法让模型学会对话。这句话需要重审。
你更关心哪一个:这种"只听声音"的路线能跑出真正的产品吗?