DeepSeek 注意力结构对比：MHA、GQA、MLA、DSA、CSA、HCA、CSA2

Java不加糖's Blog blog.javazero.top 2026/09/23

以 HuggingFace 上 deepseek-ai 各代模型的官方推理代码为准，把七种注意力结构逐个拆成小算子级张量流图：每一代的目标是什么、砍的是哪个量、怎么做到的、开销是多少。…

讨论

还没有评论，来说第一句吧。

Java不加糖's Blog 的其他文章

DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay 2026/10/02
DeepSeek-V4.1 模型结构（7）：输入端与优化器 2026/10/02
DeepSeek-V4.1 模型结构（6）：解码，DSpark 2026/10/02
DeepSeek-V4.1 模型结构（5）：记忆，Engram 2026/10/02
DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC 2026/10/02

分类

Star24k

Indi 收录中文独立博客，

每小时检查一次 RSS。

30 天内有更新的博客每小时检查一次，一年内有更新的每 3 小时，更久没更新的每 12 小时。抓取失败时会先照常重试，失败超过一天后逐步降低频率（12 小时、3 天、7 天）；连续 7 天抓不到标记为疑似失效，超过 90 天标记为已失效、每 90 天才检查一次。恢复后自动回到正常节奏。RSS 没有变化时只发一个很小的请求，不会重复下载。

欢迎在 GitHub 上提交你的博客。