毛英龙的数字花园
blog.rnm.gv.uy
主模型过载时，自动换一个模型继续回答，看起来像高可用。我却把这项功能关掉了。原因不是备用模型不好，而是它会把真实故障藏起来：你以为系统恢复了，实际已经换了脑子，长上下文可能重新发送，工具能力和表达风格也发生漂移。我的选择是保留同一模型，延长超时并做指数退避，让故障可见、成本可查、输出可复现。 “主模型挂了，就自动切备用模型。” 这几乎是所有AI网关都会宣传的卖点。 我也配置过。 后来我把 fall…
讨论
登录后参与讨论
还没有评论，来说第一句吧。