▲ 跑大模型,最贵的不是 GPU,是这个东西 迷迷途小书童 xugaoxiang.com 2026/06/01 用 Llama-70B 跑一个 128K token 的长上下文请求,光是 KV Cache 就要占 429 […] 跑大模型,最贵的不是 GPU,是这个东西 最先出现在 迷途小书童的Note 。… 讨论 登录后参与讨论 还没有评论,来说第一句吧。 迷途小书童 的其他文章 微软开源了一个帮 Agent 打磨技能的工具,思路很野 2026/06/29 X上如何下载视频? 2026/06/28 装完Hermes之后,我被这5个东西救了 2026/06/16 从此写代码,只需要在旁边看着 2026/06/14 小模型大野心 2026/06/10
讨论
登录后参与讨论
还没有评论,来说第一句吧。