Java不加糖's Blog
blog.javazero.top
残差连接为什么是恒等映射，Hyper-Connections 把它拓宽成 4 条流之后为什么会不稳，从「想要什么性质」一步步推出双随机矩阵这个约束，Sinkhorn-Knopp 怎么把任意矩阵投影上去，V4 的参数化与代码实现，以及它和 Kimi K3 的 Attention Residuals 的关系。…
残差连接为什么是恒等映射，Hyper-Connections 把它拓宽成 4 条流之后为什么会不稳，从「想要什么性质」一步步推出双随机矩阵这个约束，Sinkhorn-Knopp 怎么把任意矩阵投影上去，V4 的参数化与代码实现，以及它和 Kimi K3 的 Attention Residuals 的关系。…
讨论
登录后参与讨论
还没有评论，来说第一句吧。