DeepSeek-V4 模型结构（1）：序列维度（上），从 MLA 到压缩 KV

Java不加糖's Blog blog.javazero.top 2026/09/06

1M 上下文下注意力的开销到底花在哪，可以砍的只有三个量：头数、维度、条目数。沿着 MHA → MQA → MLA → DSA → CSA/HCA 的谱系走一遍，每一步砍了什么；把 V4 的压缩算子从平均池化一步步推出来，解释重叠窗口和逐通道 softmax；再讲 K = V 的单头 MQA 和分组输出投影。…

讨论

还没有评论，来说第一句吧。

Java不加糖's Blog 的其他文章

DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay 2026/10/02
DeepSeek-V4.1 模型结构（7）：输入端与优化器 2026/10/02
DeepSeek-V4.1 模型结构（6）：解码，DSpark 2026/10/02
DeepSeek-V4.1 模型结构（5）：记忆，Engram 2026/10/02
DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC 2026/10/02