Java不加糖's Blog
blog.javazero.top
「性能优化」章的开篇。训练时一张卡的显存分五类：权重、梯度、优化器状态、激活、通信缓冲。前三类由参数量和并行度决定，激活由 micro-batch 长度和流水线在途份数决定。每种省显存的技巧都是把账本某一行搬走，同时付出一种代价：FLOPs、精度、PCIe、网络。…
「性能优化」章的开篇。训练时一张卡的显存分五类：权重、梯度、优化器状态、激活、通信缓冲。前三类由参数量和并行度决定，激活由 micro-batch 长度和流水线在途份数决定。每种省显存的技巧都是把账本某一行搬走，同时付出一种代价：FLOPs、精度、PCIe、网络。…
讨论
登录后参与讨论
还没有评论，来说第一句吧。