Ollama是一个流行的LLM本地部署推理软件，从其 Github仓库 可以下载安装程式或直接运行其 Docker映像 。 本文介绍将 HuggingFace上的模型 导入离线环境中的Ollama部署推理的3种方法。 导入GGUF格式 创建一个modelfile文档，尽量和模型文档在同一个文档夹。 格式分为三部分: 模型权重文档路径，以FROM开头，多模态可以有多行。 对话模板，以TEMPLATE…
Ollama是一个流行的LLM本地部署推理软件，从其 Github仓库 可以下载安装程式或直接运行其 Docker映像 。 本文介绍将 HuggingFace上的模型 导入离线环境中的Ollama部署推理的3种方法。 导入GGUF格式 创建一个modelfile文档，尽量和模型文档在同一个文档夹。 格式分为三部分: 模型权重文档路径，以FROM开头，多模态可以有多行。 对话模板，以TEMPLATE…
讨论
登录后参与讨论
还没有评论，来说第一句吧。