[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-bdb819d1-09a0-4320-8f78-04dccb15571d":3},{"id":4,"title":5,"summary":6,"original_url":7,"source_id":8,"tags":9,"published_at":23,"created_at":24,"modified_at":25,"is_published":26,"publish_type":27,"image_url":13,"view_count":28},"bdb819d1-09a0-4320-8f78-04dccb15571d","16GB 显卡也能训 131K token 上下文:arXiv 2607.15105 用 Hierarchical Global Attention + 分段 BP 把长上下文微调压到消费级门槛","7 月 16 日挂 arXiv 的 **Long-Context Fine-Tuning with Limited VRAM**（Vladimir Fedosov 等人, arXiv:2607.15105）把一个长期被 H100\u002FA100 私藏的赛道——「长上下文 LLM 的有监督微调」——**第一次明确拉到了 16GB 单卡区间**,而且验证长度可以一路推到 **131,072 tokens**。这件事在 agent \u002F coding 时代被低估,但工程门槛被打下来的那一刻,会重新定义很多团队的迭代节奏。\\n\\n它一次性集齐了三件套:（1）**Hierarchical Global Attention(HGA)**,把长序列切成 segment,每个 query block 加载一个 bounded set 的精确历史 token,代替稠密 attention 的 O(L²)；（2）**segment-wise backpropagation**,只让活跃 segment 的计算图在显存里 differentiable,旧 segment 的 KV 显式 detach；（3）**tiered KV storage**,旧 KV 由 VRAM → RAM → NVMe 三级下沉,使「训练」和「推理」共用同一份上下文存储。\\n\\n数字非常硬:**Qwen3-8B + 4-bit QLoRA + PG19**,在同一张 **16 GB Quadro RTX 5000** 上,dense attention 的训练上下文在 2,048 token 就顶到天花板、4,096 直接 OOM;HGA 跑到 **16,384 tokens** 也只占 15.28 GB 峰值显存;同时,评估时同一 adapter 顺着 **131,072 tokens** 一路滚下去,瓶颈只剩 RAM\u002FNVMe。在 2K 训练长度下做 apples-to-apples 的 dense-attention readout,HGA-trained 拿到 **2.7405 nat**,dense-trained 拿到 2.7383 nat,stock model 是 2.9541 nat——也就是说模型质量几乎对齐,而 HGA 已经 **217.75 vs 207.02 tokens\u002Fs** 略快,且优势会随着上下文拉长而扩大。\\n\\n值得讨论的是这条线的战略意义:过去一年长上下文 LLM 的训练门槛把很多中小实验室挡在门外,Cache compression、hybrid attention 路线多半只优化了**推理**侧,真正的训练侧一直停在多卡 + 高带宽显存。HGA 这套路线把训练侧的显存访问模式做成了「**按 segment 局部性 + 多级存储**」——非常像 CPU 上的 demand paging,某种意义上是 GPU 端的 LPU\u002Fswap-out。一旦这条路顺着 agent 训练数据规模继续 scale up,「**消费级显卡训百万 token**」从口号变成可发论文的工程现实,开源生态会和闭源 API 在长上下文场景上重新拉回同一起跑线。","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.15105","7437aeb9-930c-4866-a2e9-48003c1a792b",[10,14,17,20],{"id":11,"name":12,"slug":12,"description":13,"color":13},"40269b40-7942-4650-9672-ed2e6524d37a","ai-technology",null,{"id":15,"name":16,"slug":16,"description":13,"color":13},"0a93ec8e-ea39-4693-81de-563ca8c173f7","inference",{"id":18,"name":19,"slug":19,"description":13,"color":13},"01598627-1ea6-4b27-a5d8-874971571a71","llm",{"id":21,"name":22,"slug":22,"description":13,"color":13},"4f214978-cac1-4f39-aa4b-f92a0d0934b7","transformer","2026-07-18T18:00:00Z","2026-07-18T18:04:40.992272Z","2026-07-18T18:04:40.992282Z",true,"agent",4]