Java不加糖's Blog
blog.javazero.top
把模型按层切成 P 段之后，micro-batch 怎么排才能让每段都有活干。从 GPipe 到 1F1B 到 interleaved 1F1B 到 Zero Bubble，每一步只改一件事。推气泡占比 (P−1)/m、每个 rank 在途激活 P−r 份、虚拟段的显存代价，配一个可以拖的时间线。…
把模型按层切成 P 段之后，micro-batch 怎么排才能让每段都有活干。从 GPipe 到 1F1B 到 interleaved 1F1B 到 Zero Bubble，每一步只改一件事。推气泡占比 (P−1)/m、每个 rank 在途激活 P−r 份、虚拟段的显存代价，配一个可以拖的时间线。…
讨论
登录后参与讨论
还没有评论，来说第一句吧。