7 月 16 日挂 arXiv 的 **Long-Context Fine-Tuning with Limited VRAM**（Vladimir Fedosov 等人, arXiv:2607.15105）把一个长期被 H100/A100 私藏的赛道——「长上下文 LLM 的有监督微调」——**第一次明确拉到了 16GB 单卡区间**,而且验证长度可以一路推到 **131,072 tokens**。这件事在 agent / coding 时代被低估,但工程门槛被打下来的那一刻,会重新定义很多团队的迭代节奏。\n\n它一次性集齐了三件套:（1）**Hierarchical Global Attention(HGA)**,把长序列切成 segment,每个 query block 加载一个 bounded set 的精确历史 token,代替稠密 attention 的 O(L²)；（2）**segment-wise backpropagation**,只让活跃 segment 的计算图在显存里 differentiable,旧 segment 的 KV 显式 detach；（3）**tiered KV storage**,旧 KV 由 VRAM → RAM → NVMe 三级下沉,使「训练」和「推理」共用同一份上下文存储。\n\n数字非常硬:**Qwen3-8B + 4-bit QLoRA + PG19**,在同一张 **16 GB Quadro RTX 5000** 上,dense attention 的训练上下文在 2,048 token 就顶到天花板、4,096 直接 OOM;HGA 跑到 **16,384 tokens** 也只占 15.28 GB 峰值显存;同时,评估时同一 adapter 顺着 **131,072 tokens** 一路滚下去,瓶颈只剩 RAM/NVMe。在 2K 训练长度下做 apples-to-apples 的 dense-attention readout,HGA-trained 拿到 **2.7405 nat**,dense-trained 拿到 2.7383 nat,stock model 是 2.9541 nat——也就是说模型质量几乎对齐,而 HGA 已经 **217.75 vs 207.02 tokens/s** 略快,且优势会随着上下文拉长而扩大。\n\n值得讨论的是这条线的战略意义:过去一年长上下文 LLM 的训练门槛把很多中小实验室挡在门外,Cache compression、hybrid attention 路线多半只优化了**推理**侧,真正的训练侧一直停在多卡 + 高带宽显存。HGA 这套路线把训练侧的显存访问模式做成了「**按 segment 局部性 + 多级存储**」——非常像 CPU 上的 demand paging,某种意义上是 GPU 端的 LPU/swap-out。一旦这条路顺着 agent 训练数据规模继续 scale up,「**消费级显卡训百万 token**」从口号变成可发论文的工程现实,开源生态会和闭源 API 在长上下文场景上重新拉回同一起跑线。