并行策略总览：六个维度各切什么、怎么通信

JJava不加糖's Blog blog.javazero.top 2026/09/06

「并行」章的开篇。一次训练里能切的维度只有六个：batch、序列、权重矩阵的行列、层、expert，以及注意力内部的序列。每种切法一节，回答同一组问题：切什么、为什么能切、前向和反向各发生什么通信、通信量多大、每卡的计算和显存少了多少。最后看 Megatron、DeepSpeed、PyTorch DTensor / FSDP / torchtitan、JAX GSPMD 怎么用各自的方式表达同一套…