Java不加糖's Blog
blog.javazero.top
HCA 为什么压缩 128 倍之后不需要再选，CSA 和 HCA 为什么要交错，滑窗分支为什么必须有。K = V 让注意力输出带上了绝对位置，V4 用对输出做反向旋转来抵消，这一步从 RoPE 的乘法性质推出来。再讲 attention sink 从 softmax 的什么缺陷来，Q/KV 归一化为什么让 Muon 不再需要 QK-Clip，最后算清 1M 上下文的 KV cache 和 FLOP…
讨论
登录后参与讨论
还没有评论，来说第一句吧。