PyTorch 2.13 把 FlexAttention 推到 Apple Silicon：稀疏注意力 12× 提速，LinearCrossEntropyLoss 把大词表 LLM 训练峰值显存砍到 1/4

PyTorch 2.13 于 2026 年 7 月 8 日发布,由 526 位贡献者合计提交 3328 个 commit。FlexAttention 正式登陆 Apple Silicon(MPS 后端),手写 Metal 内核覆盖 sparse prefill 与 decode,在 1×8×32768×64 长序列 + 256 滑动窗口(密度 0.8%)的稀疏模式下对 SDPA 拿到约 12.3× 加速,8192/64 窗口场景也吃到约 4.15×;CUDA 端 Flash backend 加入确定性反向路径,用预计算写序替换 atomic,实现 bit-for-bit 可复现,长序列端到端开销 +0.2%。新 nn.LinearCrossEntropyLoss 把线性层与交叉熵融合为一个算子、沿词表维度分块流式计算,大词表 LLM 训练峰值显存最多省 4×。CuTeDSL "Native DSL" 后端为 Inductor 提供 CUTLASS 级 GEMM/RMSNorm 代码生成;torchcomms 替代 c10d,FSDP2 支持 reduce-scatter 与 all-gather 通信重叠。ExecuTorch 正式并入 PyTorch Core,端侧推理成一等公民。