Hugging Face 把 Hub 升级成 SkyPilot 一等存储后端:FUSE 懒读 + Xet 去重让 20+ 云共享同一份模型数据

Hugging Face 与 SkyPilot 联合把 Hub 升级为 SkyPilot 的 `store: hf` 一等存储后端,通过 `hf://` URL 把任意 model、dataset、Space repo 直接挂载到 AWS、GCP、Lambda、CoreWeave 等 20+ 家云以及 Kubernetes/Slurm 集群的 GPU 任务里,核心由两端实现:(1) 新建 `hf-mount` FUSE 后端 — 每次 `read()` 仅拉需要的那几个字节,避免完整复制,GPU 几乎"立马上工",并保留本地 on-disk 缓存让 repeat read 命中本地;(2) 基于 Xet 的内容定义分块 (CDC) — 把模型权重切成约 64 KB 的 chunk,只对真正修改部分重传,统一以 `store: hf` 暴露在 SkyPilot 的 file_mounts 里。基准测试用同一个 `qwen-sft.yaml` 在三家云切换 `--infra` 跑 Qwen3.5-4B SFT,模型首读约 30 秒(峰值 ~500 MB/s),8.43 GB checkpoint 写入 bucket 在 AWS L40S 上跑到 ~168 MB/s、GCP L4 约 123 MB/s、Lambda H100 约 112 MB/s。Xet 把 dedup 推到 Parquet 行级 append — 内部测试追加 10K 行到 100K 行表只上传约 10 MB,二次上传一个 已存的 8.43 GB blob 只需约 8 秒。这一改动是首次把"数据稳坐 Hub、算力随便跑"做成产品级契约,打破了长期以来"对象存储在哪个云,GPU 调度就被钉死在哪个云"的部署约束,跨云训练与推理的数据搬运成本被压到接近零。