Java不加糖's Blog
blog.javazero.top
系统篇第一篇。一句话交代 K3 预训练的并行布局，然后用「谁在等谁」一个问题串起 §5.2 的所有技巧：EP 负载不均、host 等 shape、SM 之间的偏斜、流水线气泡里的 ViT。重点推导 MoonEP 的定理：每个 rank 预留 E/R 个冗余 expert 槽位，任何 router 输出都能补到完全平衡。…
系统篇第一篇。一句话交代 K3 预训练的并行布局，然后用「谁在等谁」一个问题串起 §5.2 的所有技巧：EP 负载不均、host 等 shape、SM 之间的偏斜、流水线气泡里的 ViT。重点推导 MoonEP 的定理：每个 rank 预留 E/R 个冗余 expert 槽位，任何 router 输出都能补到完全平衡。…
讨论
登录后参与讨论
还没有评论，来说第一句吧。