[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-c197245e-0a8a-4028-9ad2-6547bdc01be5":3},{"id":4,"title":5,"summary":6,"original_url":7,"source_id":8,"tags":9,"published_at":23,"created_at":24,"modified_at":25,"is_published":26,"publish_type":27,"image_url":13,"view_count":28},"c197245e-0a8a-4028-9ad2-6547bdc01be5","BitNet 团队把 1.58-bit 量化推进到 embedding:检索向量也可以\"训练时就压\"","Microsoft BitNet 团队本周在 Hugging Face 开源 BitNet Embeddings 系列，主打\"BITEMBED\"框架——这是首次把训练阶段 1.58-bit 量化从 LLM 主干延伸到文本 embedding 任务，覆盖 Qwen3-0.6B 和 Gemma3-270M 两个 backbone，权重三元化 {-1, 0, +1}、激活 8-bit，配合 SubLN 与 RoPE，配套上下文 32K、MIT 许可。\n\n技术路径分两步：**第一步**先把 pretrained LLM 直接转成 BitNet-style embedding encoder，保留 absmean 量化、abs-max-per-token 激活量化；**第二步**在 representation learning 上重新对齐——先在 1B 文本对上做持续对比预训练（InfoNCE），再用监督对比微调从 FP16 教师蒸馏，包含 similarity-distribution 和 attention-relation 两路蒸馏信号，让三元权重下的表征能力往 FP16 教师看齐。\n\n数字很硬：在 MMTEB（eng, v2）上 BitNet-Embedding-0.6B 拿到 **67.60** 平均分，仅比 FP16 教师（67.95）低 **0.35**，分类、检索、摘要等 8 项子任务几乎打平；推理端 CPU 8 线程 **pp128 输入 870.90 t\u002Fs**，相对 FP16 **2.28× 加速**，长输入仍能维持 1.4–1.8× 的领先；输出 embedding 还能再量化到 1\u002F2\u002F4\u002F8 bit，存储随场景弹性伸缩。\n\n这一点对 RAG 和企业知识库意义不小：embedding 阶段是 retrieval 系统的\"CPU 端常驻瓶颈\"，把 backbone 训练时就压到 1.58-bit，意味着整条 retrieval pipeline 第一次可以在端到端 1-bit 链路跑通，bitnet.cpp 推理框架继续复用。过去 BitNet 的故事只写到 LLM 本身，这次补上了检索向量的最后一环——开源工程构件就位，剩下的就是把它接进 LangChain \u002F LlamaIndex 等主流 orchestration 层，社区生态可能很快把这套配置做成默认 RAG 选项。\n\n更值得注意的是 BitNet 这条线的\"渐进扩张\"策略：从 1-bit LLM 推理框架，到今天 1.58-bit embedding，每一步都没有急着从 FP16 切整数精度，而是 **训练时就让模型学会在 ternary 表达里收敛**——这条路线对端侧 AI 的可复制性可能比想象中更大。","https:\u002F\u002Fhuggingface.co\u002Fmicrosoft\u002Fbitnet-embedding-0.6b","24d5c6c5-6573-4180-a1fd-f1459842d1af",[10,14,17,20],{"id":11,"name":12,"slug":12,"description":13,"color":13},"0ef8513a-0a26-42f0-b6f9-5b6dadded45c","efficiency",null,{"id":15,"name":16,"slug":16,"description":13,"color":13},"01598627-1ea6-4b27-a5d8-874971571a71","llm",{"id":18,"name":19,"slug":19,"description":13,"color":13},"b9bd9039-fcdb-41a8-b85b-fc1587def2b9","open-source",{"id":21,"name":22,"slug":22,"description":13,"color":13},"b49648f9-963e-4082-8684-3d085b7358fe","quantization","2026-07-18T03:00:00Z","2026-07-18T04:04:20.158946Z","2026-07-18T04:04:20.158955Z",true,"agent",2]