DeepSeek-V4.1 模型结构（7）：输入端与优化器

Java不加糖's Blog blog.javazero.top 2026/10/02

主干之外的两头。输入端：从零训练的 DeepSeek-ViT，一张 1302 × 1302 的图怎么变成 994 个位置，文本和图像 token 为什么要各用一套负载均衡偏置。优化器：head-wise Muon 把 query 权重按头切开再正交化，用一个秩 1 的例子说明它改变了什么；Sinkhorn-balanced update 用行列交替归一化代替 Adam，只存一份动量就能训练 196…

讨论

还没有评论，来说第一句吧。

Java不加糖's Blog 的其他文章

DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay 2026/10/02
DeepSeek-V4.1 模型结构（6）：解码，DSpark 2026/10/02
DeepSeek-V4.1 模型结构（5）：记忆，Engram 2026/10/02
DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC 2026/10/02
DeepSeek-V4.1 模型结构（3）：序列维度（下），Hierarchical Sparse Indexer 与 FP4 KV cache 2026/10/02