DeepSeek-V4 模型结构（7）：混合注意力与 mHC 带来的系统改动

Java不加糖's Blog blog.javazero.top 2026/09/06

连载收尾。前六篇的结构选择各自要求系统做相应的改动：两种压缩率和滑窗让 KV cache 分成「状态」和「分页」两类，块大小必须是 lcm(4, 128)；压缩窗口会跨过上下文并行的边界，要一次点对点加一次 all-gather；磁盘前缀缓存里压缩条目好存、滑窗 KV 难存，三种策略换取不同的重算量；mHC 的 4 倍访存靠融合 kernel、重算和 DualPipe 压到 6.7%。…

讨论

还没有评论，来说第一句吧。

Java不加糖's Blog 的其他文章

DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay 2026/10/02
DeepSeek-V4.1 模型结构（7）：输入端与优化器 2026/10/02
DeepSeek-V4.1 模型结构（6）：解码，DSpark 2026/10/02
DeepSeek-V4.1 模型结构（5）：记忆，Engram 2026/10/02
DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC 2026/10/02