这篇文章复盘 Orca 针对 DeepSeek Prefix Cache 的九轮缓存优化:从 budget hint 破坏 system prefix,到 volatile 上下文、wire 等价 token 计算、summary state、extractive compaction、remote summary 0% 命中,再到最后用真实 API 评测把主链路稳定到 99% 左右。…
这篇文章复盘 Orca 针对 DeepSeek Prefix Cache 的九轮缓存优化:从 budget hint 破坏 system prefix,到 volatile 上下文、wire 等价 token 计算、summary state、extractive compaction、remote summary 0% 命中,再到最后用真实 API 评测把主链路稳定到 99% 左右。…
讨论
登录后参与讨论
还没有评论,来说第一句吧。