DeepSeek-V4 模型结构（5）：宽度维度，DeepSeekMoE 的四个改动

Java不加糖's Blog blog.javazero.top 2026/09/06

V4 的 MoE 仍是 DeepSeekMoE，但改了四处：路由打分从 sigmoid 换成 sqrt(softplus)，前三层用按 token id 查表的 hash routing 取代稠密层，无辅助损失的偏置路由之外加了一个极小的序列级平衡损失，SwiGLU 加了硬截断。每一处都先说它要解决什么，再看它在代码里长什么样，最后算参数量和 FP4。…

讨论

还没有评论，来说第一句吧。

Java不加糖's Blog 的其他文章

DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay 2026/10/02
DeepSeek-V4.1 模型结构（7）：输入端与优化器 2026/10/02
DeepSeek-V4.1 模型结构（6）：解码，DSpark 2026/10/02
DeepSeek-V4.1 模型结构（5）：记忆，Engram 2026/10/02
DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC 2026/10/02