Qwen3.8 的 BPE 分词器平均要 3.84 个字节才产出一个中文 token,64% 的 token 是单个汉字;每个汉字的一次生成决定被摊成三步,拼写、笔画、数字的每一位,对子词模型从来不可见。11 月 10 日提交到 arXiv 的论文(2611.13607,作者 Liwei Zhang 与 ZhiMing Tong,单位 Landi Lab)把这件事推到极端:把已经训练好的 Qwen3.8-27B 词表从 248,320 砍到 384——只留 256 个字节符号加特殊符号,让模型一个字节走一步,重新学会读写中文。
只动两头,主干不动
词表手术只碰两端:embedding 和 lm_head 各自从 248,320×5,120(约 1.27B 参数)缩到 384×5,120(约 2M),语言模型部分从 26.9B 降到 24.4B;64 层主干(48 层 Gated DeltaNet 加 16 层全注意力)一个权重不动,0.46B 的视觉塔原样冻结。因为 256 个字节符号本来就在 BPE 词表里,连初始化技巧都不需要,难度全部压到续训上。
续训用 4.77GB 监督字节(总共读 7.08GB),分两段:M1 编码段拿字词典(12,126 字)、词词典(141,361 条)和通用对话混着教「字↔字节」;M2 阅读段掺入维基文本(占监督字节 54%)补知识。全部训练 178.6 小时 8×H200,约 1,430 GPU 时。对话类监督有条硬规矩:全部由原模型自己现做现答(on-policy)——作者实测,换成别人写的数据,四种配方都要掉 5-14 分。
M1 结束时模型「会读不会用」:探针 29/30,但英→中术语 0/12,其余四种问法 6-12/12。论文的判读是:知识在、英文路径也通,断的是「中文词形↔概念」的连接。M2 走到 3,000 步,术语回到 12/12;冻结视觉塔上的 MMBench-CN 反而从 65.2% 升到 72.2%。
换来什么:不靠思考的字符级操作
非思考档宏观:CUTE 75.2→84.0,EXECUTE-zho 81.6→93.9,自建中文套件 54.4→64.0;单项里 EXECUTE-zho 的 swap_char 48.5→91.5,自建 zh_swap_char 13.0→50.5。原版不是做不到,而是要「想」:开思考后 CUTE 75.2→89.4,代价是每题几千 token(del_word 平均 3,306 token,36/100 顶到上限);字节模型不用想就直接做对。
两个附带结果:12,126 字全字复述两遍共 24,252 个槽位,原版错 3 个,字节模型只错 1 个——逐字节写字不比原版差;位置能力也保住了,针测 8k-128k 全中,1M 字节开 YaRN 还能拿 33/46。
三笔账
考试与指令:C-Eval 思考档 89.9→85.4、非思考档 88.1→83.4,思考档 GSM8K 97.0→93.0,这三个差距的 95% 区间都不含 0;MATH-500、HumanEval+、MMLU-Pro 与非思考 GSM8K 全在噪声内。论文对非思考 IFEval 的归因很诚实:原版做过指令后训练、字节版没做,这个因素没有分离实验。
吞吐:每步速度几乎没变(单流 22.9 对 24.3 token/s),差的是每步产出少 3-5 倍——原版 1 token 约 1.45 个汉字,字节模型 1 步 1 字节约 0.32 个汉字。同卡汉字/秒 33.1→7.7,约四分之一;64K 字节 prefill 首字 4.52→29.57 秒,6.5 倍;全部榜单同卡跑完,原版 7 小时 44 分,字节版 35 小时 57 分,4.6 倍。草稿头在 48G 单卡装不下,按其他硬件的记录折算,加草稿单流也只能回到原版的 0.7-0.8 倍。
汉字查表知识:zh_homophone 96.5→57.5,zh_strokes 63.0→47.0(思考档 69→34),zh_pinyin 98.0→91.5。思考救不回——「字→属性」的查表知识不是推理能补的。22 语种冒烟里更刺眼:用印地语问印度的首都是哪,字节模型答「印地语」。
四种字节模型特有的病
贪心跑飞:temperature 0 下,试点线 GPQA 198 题里 34 题(17%)写满 16,384 字节上限、没有答案行,同权重 BPE 原版是 0。换成采样,分数 54.0→60.6;再加护栏,思考档 48.0→60.6;但答对数停在 120/198(原版 170)——解码侧只能把「没写完」变成「写完了」,对不对还得看模型。
采样打断 UTF-8:一个汉字从一次采样变三次,乘号可能被采成几何图形符号;解法是解码端加 UTF-8 合法性掩码,且必须关掉推理框架的重叠调度——这个 bug 一度让输出全是替换符,团队把带护栏的历史分数全部重审。
惩罚失效:presence/frequency penalty 按 token id 记账,在 256 词表上每个常用字节几步内都出现过,惩罚等于把所有字节一起平抬;重复抑制必须做在 n-gram 级,推理框架没有现成实现。
复读:自产回答 46% 含 8-gram 复读,同题商用模型是 6%。直接 DPO 把差样本率从 11.9% 压到 7.7%,代价是 GSM8K 300 题 97.7%→80.7%;RFT 先行救回 92.7%;第三轮差样本率 0.2%,但 252 条带思考回答里 211 条思考不足 60 字——治好了复读,治出了「不思考」。
这笔账怎么算
论文自己把话说死:「我们不主张字节模型更强。」单种子单次运行;权重和训练语料不发布,开源的是评测代码、15 项 2,814 题的自建中文题集与 bootstrap 脚本。真正的增量在路线:BLT、Bolmo 这些前作都要 patching(局部编码器加块结构),主干只在块上跑;这篇不 patching、不引外部教师,约 1,430 GPU 时就给一个已训 27B 模型换血——「词表是训练前冻结的设计决定」这条行规,多了一次低成本的破例机会。
对中文模型,更大的启示可能是那个反直觉结果:字节化让模型「会操作汉字」大涨,却让「认识汉字」(读音、笔画)受损。操作和知识不是一回事,换词表动的是后者的地基。
一个不靠思考就能倒排汉字、却说不出它有几笔的模型——它到底更懂中文了,还是更不懂了?