Wayne的技术博客
blog.michealwayne.cn
大模型缓存技术工程指南（下）：面向缓存命中的 Prompt 与 Agent 工程实践 上篇重点介绍了大模型缓存技术的基本机制，包括 KV Cache、Prompt Cache、Prefix Cache、Context Cache、Semantic Cache 等。本篇继续从工程视角展开：当模型厂商已经把“缓存命中”体现在 API 定价和延迟优化中时，工程团队应该如何组织 Prompt、工具定义、上…
讨论
登录后参与讨论
还没有评论，来说第一句吧。