DeepSeek-V4.1 模型结构（5）：记忆，Engram

Java不加糖's Blog blog.javazero.top 2026/10/02

Transformer 认出一个固定搭配要花掉前几层的计算。Engram 换一条路：按当前 token 结尾的 2、3、4-gram 做哈希，从一张 3.84 亿行的表里取出向量，经过一个门加进残差流。这一篇从「直接建 n-gram 表为什么不行」推到哈希的具体形式，用中国剩余定理说明 8 个头为什么足以区分不同的 n-gram，再讲门的公式、V4.1 去掉的卷积，以及 196B 参数怎么分配、训…

讨论

还没有评论，来说第一句吧。

Java不加糖's Blog 的其他文章

DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay 2026/10/02
DeepSeek-V4.1 模型结构（7）：输入端与优化器 2026/10/02
DeepSeek-V4.1 模型结构（6）：解码，DSpark 2026/10/02
DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC 2026/10/02
DeepSeek-V4.1 模型结构（3）：序列维度（下），Hierarchical Sparse Indexer 与 FP4 KV cache 2026/10/02