Indi
Java不加糖's Blog blog.javazero.top

数据并行是唯一不减少每卡显存的并行,ZeRO 用分片把它补上。从每个参数占 16 字节算起,推 ZeRO-1、2、3 各自的每卡显存和通信量,再讲梯度分片放到 CPU 之后 GPU 上为什么只需要两个缓冲。…

讨论

还没有评论,来说第一句吧。

Java不加糖's Blog 的其他文章