沿 Hugging Face 配置、vLLM 和 SGLang 的推理实现拆解 Kimi K3.1 Pro:69 层 KDA 与 24 层 Gated DSA 如何混合,32 头索引器怎样选出 top-2048,NoPE、输出门、两份缓存和每层独立索引分别落在哪里。…
沿 Hugging Face 配置、vLLM 和 SGLang 的推理实现拆解 Kimi K3.1 Pro:69 层 KDA 与 24 层 Gated DSA 如何混合,32 头索引器怎样选出 top-2048,NoPE、输出门、两份缓存和每层独立索引分别落在哪里。…
讨论
登录后参与讨论
还没有评论,来说第一句吧。