Java不加糖's Blog
blog.javazero.top
Kimi Delta Attention 的递推形式。把状态更新看成一步在线学习：写入、擦除、衰减三种操作各对应目标函数里的一项，合起来就是 KDA 的状态更新公式。然后沿谱系图看每一步加了什么，用三个合成任务验证，解释为什么转移矩阵的连乘能提供位置信息，最后对上 K3 的真实维度和 K3 对输出门的改动。…
Kimi Delta Attention 的递推形式。把状态更新看成一步在线学习：写入、擦除、衰减三种操作各对应目标函数里的一项，合起来就是 KDA 的状态更新公式。然后沿谱系图看每一步加了什么，用三个合成任务验证，解释为什么转移矩阵的连乘能提供位置信息，最后对上 K3 的真实维度和 K3 对输出门的改动。…
讨论
登录后参与讨论
还没有评论，来说第一句吧。