Nicksxs's Blog
nicksxs.me
在 RTX 3060 Laptop 6GB 显卡上使用 llama.cpp 运行 9B 量化模型，通过 64K 上下文、Flash Attention、KV Cache 量化和 GPU Offload 参数控制显存占用。…
在 RTX 3060 Laptop 6GB 显卡上使用 llama.cpp 运行 9B 量化模型，通过 64K 上下文、Flash Attention、KV Cache 量化和 GPU Offload 参数控制显存占用。…
讨论
登录后参与讨论
还没有评论，来说第一句吧。