1. 前情提要 之前 我在本地部署了Hy-MT2翻译模型,效果非常好,现在已经是我主力使用的翻译引擎了。 于是,我想再尝试一下如今本地能够部署的大模型的能力。 之前在Qwen2.5和DeepSeek-R1的时代都曾经尝试过本地部署,但是10B以内的模型效果不太满意,10B以上的模型速度太慢,20B以上基本就是在跳字,每次都是试过几下就放弃了。 这次先尝试了Qwen3.5-9B及它的一些微调版(包括…
1. 前情提要 之前 我在本地部署了Hy-MT2翻译模型,效果非常好,现在已经是我主力使用的翻译引擎了。 于是,我想再尝试一下如今本地能够部署的大模型的能力。 之前在Qwen2.5和DeepSeek-R1的时代都曾经尝试过本地部署,但是10B以内的模型效果不太满意,10B以上的模型速度太慢,20B以上基本就是在跳字,每次都是试过几下就放弃了。 这次先尝试了Qwen3.5-9B及它的一些微调版(包括…
讨论
登录后参与讨论
还没有评论,来说第一句吧。