Indi
Yunfeng's Simple Blog vra.github.io

1. 说明 看到最近为微软更新了一个BitNet新版本 bitnet-b1.58-2B-4T ,参数只采用{-1, 0, 1}来表示,在普通CPU上性能挺好,而网络上测试结果不多,因此这里试试看到底效果怎么样。 这里尝试了2种方式,一个是利用官方提供的网站,进行效果测试,另一个是下载模型自己本地搭建C++推理环境,两种情况都只在CPU上进行测试。整体测试下来,两种情况的效果都还是不能让人满意,有一…

讨论

还没有评论,来说第一句吧。

Yunfeng's Simple Blog 的其他文章