Java不加糖's Blog
blog.javazero.top
结构篇收尾。前六篇的每个结构选择都要求系统做相应的改动：KDA 的三种内核，以及为什么它的上下文并行不能直接把状态加起来；Block AttnRes 的内存和通信处理；LatentMoE 的融合 GEMM 与以 token 为中心的解码内核；混合架构下 512-token 粒度的前缀缓存；投机解码时 KDA 状态怎么回滚。…
结构篇收尾。前六篇的每个结构选择都要求系统做相应的改动：KDA 的三种内核，以及为什么它的上下文并行不能直接把状态加起来；Block AttnRes 的内存和通信处理；LatentMoE 的融合 GEMM 与以 token 为中心的解码内核；混合架构下 512-token 粒度的前缀缓存；投机解码时 KDA 状态怎么回滚。…
讨论
登录后参与讨论
还没有评论，来说第一句吧。