DeepSeek-V4.1 模型结构（3）：序列维度（下），Hierarchical Sparse Indexer 与 FP4 KV cache

Java不加糖's Blog blog.javazero.top 2026/10/02

decoder 的 Reindex 层每生成一个 token 都要给 100 万条 KV 打分。Hierarchical Sparse Indexer 让第 20 层先圈出 16384 个候选位置，后面的层只在里面打分，把这部分计算变成常数。FP4 把每条 main KV 从 584 字节压到 288 字节：E2M1 能表示哪些数，为什么 22.6 是幅度的上界，scale 为什么选 E4M3。最…

讨论

还没有评论，来说第一句吧。

Java不加糖's Blog 的其他文章

DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay 2026/10/02
DeepSeek-V4.1 模型结构（7）：输入端与优化器 2026/10/02
DeepSeek-V4.1 模型结构（6）：解码，DSpark 2026/10/02
DeepSeek-V4.1 模型结构（5）：记忆，Engram 2026/10/02
DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC 2026/10/02