1. 大模型部署工具 llama.cpp 大模型的研究分为训练和推理两个部分。训练的过程,实际上就是在寻找模型参数,使得模型的损失函数最小化,推理结果最优化的过程。训练完成之后,模型的参数就固定了,这时候就可以使用模型进行推理,对外提供服务。 llama.cpp 主要解决的是推理过程…
1. 大模型部署工具 llama.cpp 大模型的研究分为训练和推理两个部分。训练的过程,实际上就是在寻找模型参数,使得模型的损失函数最小化,推理结果最优化的过程。训练完成之后,模型的参数就固定了,这时候就可以使用模型进行推理,对外提供服务。 llama.cpp 主要解决的是推理过程…
讨论
登录后参与讨论
还没有评论,来说第一句吧。