Java不加糖's Blog
blog.javazero.top
KDA 的 chunkwise 并行形式：WY 表示、UT 变换、块间递推加块内矩阵乘。然后是 K3 的改动：给每步的 log-decay 加一个 −5 的下界，让 16-token 对角 tile 也能用 Tensor Core 算。附一个可以拖的曲线对比。…
KDA 的 chunkwise 并行形式：WY 表示、UT 变换、块间递推加块内矩阵乘。然后是 K3 的改动：给每步的 log-decay 加一个 −5 的下界，让 16-token 对角 tile 也能用 Tensor Core 算。附一个可以拖的曲线对比。…
讨论
登录后参与讨论
还没有评论，来说第一句吧。