Kimi K3 模型结构（5）：宽度维度，Stable LatentMoE

Java不加糖's Blog blog.javazero.top 2026/09/05

896 选 16 的 MoE 为什么要在一半宽度的 latent 空间里跑。先复述 NVIDIA LatentMoE 的论证思路，再逐个拆 K3 加的三样东西：latent 上的 RMSNorm、SiTU-GLU 激活、Quantile Balancing 负载均衡，包括它从平衡指派问题推出来的过程。…

讨论

还没有评论，来说第一句吧。

Java不加糖's Blog 的其他文章

DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay 2026/10/02
DeepSeek-V4.1 模型结构（7）：输入端与优化器 2026/10/02
DeepSeek-V4.1 模型结构（6）：解码，DSpark 2026/10/02
DeepSeek-V4.1 模型结构（5）：记忆，Engram 2026/10/02
DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC 2026/10/02