▲ 数据并行与 ZeRO:三级分片各省多少 JJava不加糖's Blog blog.javazero.top 2026/09/06 数据并行是唯一不减少每卡显存的并行,ZeRO 用分片把它补上。从每个参数占 16 字节算起,推 ZeRO-1、2、3 各自的每卡显存和通信量,再讲梯度分片放到 CPU 之后 GPU 上为什么只需要两个缓冲。… 讨论 登录后参与讨论 还没有评论,来说第一句吧。 Java不加糖's Blog 的其他文章 DeepSeek-V4.1 模型结构(8):KV cache 的管理与 SWA Bounded Replay 2026/10/02 DeepSeek-V4.1 模型结构(7):输入端与优化器 2026/10/02 DeepSeek-V4.1 模型结构(6):解码,DSpark 2026/10/02 DeepSeek-V4.1 模型结构(5):记忆,Engram 2026/10/02 DeepSeek-V4.1 模型结构(4):深度维度,Single-Pass mHC 2026/10/02
讨论
登录后参与讨论
还没有评论,来说第一句吧。