Indi
Java不加糖's Blog blog.javazero.top

DSA 为什么先用小索引器选 token,再做主注意力?从丢弃概率质量的误差界、多头共享 top-k、ReLU 的非线性作用,一步步推到 KL 蒸馏与两阶段继续训练,再对照官方 MLA、FP8 和稀疏 kernel 实现,附可运行的训练示例。…

讨论

还没有评论,来说第一句吧。

Java不加糖's Blog 的其他文章