Fernweh
blog.wohin.me
0. 总览 这是我和 AI 智能体共同探讨写作的一篇博文，用来帮助梳理大语言模型推理服务的相关知识与实践。这篇文章的主线是： 一个开源模型如何从社区里的文件，变成服务器上可被业务调用的 LLM API 服务 。这条链路看似只是“下载模型、启动服务、发请求”，实际涉及模型文件格式、GPU 显存管理、请求调度、KV cache、并发、量化、性能指标等多个层次。 这些问题琐碎、复杂，又各有各的重要。这让…
讨论
登录后参与讨论
还没有评论，来说第一句吧。