DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay

Java不加糖's Blog blog.javazero.top 2026/10/02

连载收尾。890 字节是显存里的全局 KV，磁盘上的缓存还要再减一半：办法是滑窗 KV 不再存盘。这一篇讲滑窗 KV 为什么不适合放在保留 72 小时的磁盘缓存里，V4.1 把它挪到了哪，丢了之后怎么只用 128 个 token 的回放重建，这个近似的代价是什么；再讲 CSA2 的跨层共享在流水线并行下怎么训练，以及多模态训练的三处系统改动。…

讨论

还没有评论，来说第一句吧。

Java不加糖's Blog 的其他文章

DeepSeek-V4.1 模型结构（7）：输入端与优化器 2026/10/02
DeepSeek-V4.1 模型结构（6）：解码，DSpark 2026/10/02
DeepSeek-V4.1 模型结构（5）：记忆，Engram 2026/10/02
DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC 2026/10/02
DeepSeek-V4.1 模型结构（3）：序列维度（下），Hierarchical Sparse Indexer 与 FP4 KV cache 2026/10/02