Indi
Java不加糖's Blog blog.javazero.top

系统篇第二篇。先用 config.json 的形状列出训练时每张卡上存了什么,再把 §5.2.2 的六个技巧逐个放回账本:每一个都是把某一行搬走,同时付出某种代价。推导 MoE 反向为什么可以不存 expert 输出,P2P Muon 比全量 all-gather 省在哪里。…

讨论

还没有评论,来说第一句吧。

Java不加糖's Blog 的其他文章