在这个 LLM 服务商们每天都在进行军备竞赛的时代,对我们这种面向 LLM 编程的程序员来说,最常见的一个痛点莫过于管理一大堆 API Endpoint 和 Secret Key 了,再加上: 不同的服务商 Host 了相同或不同的模型。 在不同的服务商里都撒了币。 不同服务商的 SLA 可能相去甚远。 要在不同的软件里重复配置这些相同的内容。 这一系列问题的解决方案自然是一个统一的 LLM AP…
在这个 LLM 服务商们每天都在进行军备竞赛的时代,对我们这种面向 LLM 编程的程序员来说,最常见的一个痛点莫过于管理一大堆 API Endpoint 和 Secret Key 了,再加上: 不同的服务商 Host 了相同或不同的模型。 在不同的服务商里都撒了币。 不同服务商的 SLA 可能相去甚远。 要在不同的软件里重复配置这些相同的内容。 这一系列问题的解决方案自然是一个统一的 LLM AP…
讨论
登录后参与讨论
还没有评论,来说第一句吧。