最近更新 7 天前近 12 个月 34 篇
11月10月（本月）
文章
- DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay
- DeepSeek-V4.1 模型结构（7）：输入端与优化器
- DeepSeek-V4.1 模型结构（6）：解码，DSpark
- DeepSeek-V4.1 模型结构（5）：记忆，Engram
- DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC
- DeepSeek-V4.1 模型结构（3）：序列维度（下），Hierarchical Sparse Indexer 与 FP4 KV cache
- DeepSeek-V4.1 模型结构（2）：序列维度（中），CSA2 的三种模式
- DeepSeek-V4.1 模型结构（1）：序列维度（上），CED
- DeepSeek-V4.1 模型结构（0）：一张图看懂 DeepSeek-V4.1-Flash
- DeepSeek 注意力结构对比：MHA、GQA、MLA、DSA、CSA、HCA、CSA2
- 推理服务的缓存与调度：前缀、多级存储、集群路由
- 显存账本：每张卡上存了什么，各项怎么省
- 数据并行与 ZeRO：三级分片各省多少
- 流水线并行：1F1B、虚拟段与气泡
- 并行策略总览：六个维度各切什么、怎么通信
- Kimi K3 模型结构（10）：RL 与服务中的状态管理
- Kimi K3 模型结构（9）：显存，把 2.8T 塞进 GPU
- DeepSeek-V4 模型结构（7）：混合注意力与 mHC 带来的系统改动
- DeepSeek-V4 模型结构（6）：优化器与稳定性，Muon
- Kimi K3 模型结构（8）：训练并行，MoonEP 与四类等待
- DeepSeek-V4 模型结构（5）：宽度维度，DeepSeekMoE 的四个改动
- DeepSeek-V4 模型结构（4）：深度维度，mHC
- DeepSeek-V4 模型结构（3）：序列维度（下），HCA、混合排布与零件
- DeepSeek-V4 模型结构（2）：序列维度（中），Lightning Indexer 与稀疏选择
- DeepSeek-V4 模型结构（1）：序列维度（上），从 MLA 到压缩 KV
- DeepSeek-V4 模型结构（0）：一张图看懂 DeepSeek-V4
- Kimi K3 模型结构（7）：三个新模块带来的系统改动
- Kimi K3 模型结构（6）：输入端与零件，MoonViT-V2、MTP、Per-Head Muon
- Kimi K3 模型结构（5）：宽度维度，Stable LatentMoE
- Kimi K3 模型结构（3）：序列维度，Gated MLA 与 3:1 混合