Indi
迷途小书童 xugaoxiang.com

用 Llama-70B 跑一个 128K token 的长上下文请求,光是 KV Cache 就要占 429 […] 跑大模型,最贵的不是 GPU,是这个东西 最先出现在 迷途小书童的Note 。…

讨论

还没有评论,来说第一句吧。

迷途小书童 的其他文章