使用 CPU 推理 llama 结构的大模型

陈陈少文的博客 chenshaowen.com 2023/09/16

1. 本地容器运行 启动 LLM 1 docker run --security-opt apparmor=unconfined --security-opt seccomp=unconfined --rm -p 8000:8000 shaowenchen/chinese-alpaca-2-7b-gguf:Q2_K 在 http://localhost:8000/docs 页面即可看到接口文档，如…