简介 llama.cpp 是ChatGPT火爆后最早也是最核心的LLM推理引擎。 配套的还有 ggml/gguf 等适用于个人电脑的量化LLM模型档案格式。 用C++实现，小巧高校，社区活跃，对新模型有很及时的支持，是很多LLM本地运行工具的上游引擎。 优势 体积小，占用磁盘空间少。 可控性强，基础引擎可以定义所有参数。 直接使用 gguf 格式模型档案，便于模型收录档案管理。 劣势 用户不够友好…
简介 llama.cpp 是ChatGPT火爆后最早也是最核心的LLM推理引擎。 配套的还有 ggml/gguf 等适用于个人电脑的量化LLM模型档案格式。 用C++实现，小巧高校，社区活跃，对新模型有很及时的支持，是很多LLM本地运行工具的上游引擎。 优势 体积小，占用磁盘空间少。 可控性强，基础引擎可以定义所有参数。 直接使用 gguf 格式模型档案，便于模型收录档案管理。 劣势 用户不够友好…
讨论
登录后参与讨论
还没有评论，来说第一句吧。