35B 压成 9.96GB 单文件:BTL-4 的 2.30 bit 极限量化和两条反直觉结论
8 月 5 日,独立 AI 实验室 Bad Theory Labs 发布了两个开源权重模型:35B 的 agentic 推理模型 BTL-4,和跑在 Mac 上的本地智能体 Macaw。其中 BTL-4 的 Compact 版本把一件事做到了极致:整个 35B 模型塞进一个 9.96GB 的文件,平均每个权重只占 2.30 bit,官方重放测量下保留 94.1% 的行为。这份 model card 值得细读,因为它把 2-bit 级量化的完整工程账本摊开了。
架构:大模型的内存,小模型的算力
BTL-4 是 MoE 架构:总参数 35.1B,每个 token 只激活约 2.1B——官方形容它「花大模型的内存,花小模型的算力」。40 层里有 30 层线性注意力、10 层全注意力;每层 256 个专家、路由 8 个。原生上下文 262,144,而 KV cache 只在 10 层增长、约 20KB/token——整个 262K 窗口的缓存约 5.2GB。长上下文任务塞进消费级硬件,是设计目标而非巧合。
94.1% 是测出来的,不是估出来的
Compact 的行为保留率用重放法:取全精度 bf16 模型答对的 118 个条目,在量化版上重放,复现 111 个,即 94.1%。分类看:短事实 95.0%,grounded extraction 100%,false-premise 拒答 87.2%。官方同时给出测量门限约 ±3.4 个点——小于这个差距的差异当噪声处理。这种「连误差棒一起交」的写法,在模型发布里并不多见。
配方:bit 预算花在哪
- 120 个专家张量用 IQ2_XXS(2.0625 bpw),其余走 Q4_K_M 混合。专家占全部参数的 93%,贡献 1.92 bpw;剩余 0.38 来自 4/6-bit 的非专家矩阵,加上 f32 的 router 和 norm
- router 和所有归一化张量保持 f32——路由出错改变的是「这个 token 用到哪份知识」,是离散的错误,不能平滑退化;而 router 只有约 21M 参数,保护它几乎免费
- imatrix 用 120 块、共 3MB 的语料算出:源码、技术文档和提问——刻意匹配这个模型的目标场景,而不是通用网页文本
两条反直觉结论
一,range selection 支配一切。 在同样字节预算下,把 min/max 分组定范围换成 per-group MSE clip search,保留率从 77.1% 提到 95.8%——一个范围选择策略的贡献,比多数「更聪明的量化算法」都大。
二,保护输出头毫无收益。 通行建议是重点保护 output head,但他们在这套配置下的仿真显示:head 和 embedding 放在 4-bit,118/118 全保留。IQ2_XXS 加 imatrix 本身就在做重要性加权的范围搜索,这就是最终出货的 build。
跑起来的坑
Compact 可直接在 llama.cpp、Ollama、LM Studio 加载(需要 qwen3_5_moe 支持)。model card 明确列了几个「不是可选项」的 flag:--jinja 不加则工具调用解析失败、多轮工具使用直接挂;--reasoning-format deepseek 不加则推理内容堆进 content,每轮累积,模型重复执行直到预算耗尽;KV cache 建议 q8_0 而非 q4_0——权重已经压到 2.30 bpw,KV 再压会伤长程状态跟踪,表现为「重做已经做完的工作」。另外 MTP 层被禁用、视觉塔未包含,这是纯文本 build。
顺带:Macaw 才是「给你们用的」
配套发布的 Macaw 是跑在 Apple Silicon 上的本地 Mac 智能体:97 个验证过的工具覆盖邮件、文件、日历、音乐和系统设置,M2 上实测解码 40.3 tok/s、平均请求 1.21 秒、模型仅 1.5GB,支持一句话串起 3-5 个工具的多步链。基座是 LFM2.5,身份靠系统提示词注入;代码 MIT,权重继承 LFM Open License v1.0(商用上限:年营收 1000 万美元)。
所以呢
发布不到两周,Hugging Face 显示 BTL-4-Compact 近一月下载量已达 31,951。官方发布推文还给出 73.5% 的 BFCL v4(AST)成绩——厂商自报口径,待第三方验证。但这份 model card 真正的分量在于:2-bit 量化的每个决定都有数据支撑,连「保护输出头是白费」这种失败结论都写了出来。下一次有人抱怨「本地跑不动大模型」,先看 bit 数,再看参数量。