Java不加糖's Blog
blog.javazero.top
从「Adam 逐元素、Muon 逐矩阵」的动机出发，推出谱范数下最速下降的解是梯度的正交化，再看 Newton–Schulz 迭代怎么不做 SVD 地逼近它。V4 的混合迭代用两组系数：一组把小奇异值快速抬起来，一组让奇异值精确收敛到 1，多项式的形状说明了为什么。再讲 RMS 匹配、哪些参数留给 AdamW、为什么 Q/KV 归一化让 QK-Clip 不再需要、Anticipatory Rout…
讨论
登录后参与讨论
还没有评论，来说第一句吧。