▲ 使用 lmcache 能显著改善模型推理的 TTFT 陈陈少文的博客 chenshaowen.com 2025/09/17 1. LMCache 简介 TTFT 是指从请求发出到模型生成第一个 token 的时间。由于 Prefill 阶段需要把输入的上下文编码成 KV Cache，才能开始生成，在生成第一个 token 时需要大量的计算从而导致 TTFT 很高。 为了降低 TTFT，有一个思路就是将 Prefill 阶段计算出来的 KV Cache 缓存起来，下次遇到相同的上下… 讨论 登录后参与讨论 还没有评论，来说第一句吧。 陈少文的博客 的其他文章 更适合 VibeCoding 的应用部署平台 - AppLab 2026/09/27 llms.txt：让 AI 读懂你的网站 2026/09/20 deepseek-harness-remote-node 2026/09/12 RDMA 运维 2026/08/22 AI Agent 之下，中台会消失吗 2026/08/20
讨论
登录后参与讨论
还没有评论，来说第一句吧。