▲ DeepSeek DSA 解读:从注意力误差推到索引器结构与两阶段训练 JJava不加糖's Blog blog.javazero.top 2026/11/12 DSA 为什么先用小索引器选 token,再做主注意力?从丢弃概率质量的误差界、多头共享 top-k、ReLU 的非线性作用,一步步推到 KL 蒸馏与两阶段继续训练,再对照官方 MLA、FP8 和稀疏 kernel 实现,附可运行的训练示例。… 讨论 登录后参与讨论 还没有评论,来说第一句吧。 Java不加糖's Blog 的其他文章 Kimi K3 模型结构(11):从推理代码看 K3.1 Pro 的 Gated DSA 2026/11/12 DeepSeek Super-agent 拆解:架构设计与开源插件的实现边界 2026/11/01 用 Docker 和 SSH 连接多套 VPN 下的开发环境 2026/10/19 DeepSeek-V4.1 模型结构(8):KV cache 的管理与 SWA Bounded Replay 2026/10/02 DeepSeek-V4.1 模型结构(7):输入端与优化器 2026/10/02
讨论
登录后参与讨论
还没有评论,来说第一句吧。