蟹壳
shellc.cn
我们可以预期 LLM 主要应该是运行在 PC 、手机、汽车和其他智能机器的本地。这其中很重要的原因是算力的发展和 LLM 的优化。这同时也解决了隐私和数据安全问题。云上运行 LLM 推理是没有道理的。 2023 年 10 月 24 日，高通发布骁龙X Elite，采用 4nm 工艺，集成 NPU 提供 45 TOPs 算力，支持运行 13B 参数的 LLM。高通表示其设计初衷是支持未来的高负载智能…
讨论
登录后参与讨论
还没有评论，来说第一句吧。