timqian 评论了「为什么专家缓存救不了稠密模型：16GB 显存跑 27B Dense 模型的推理优化实践

Nicksxs's Blog · 2026-10-25T08:15:00.000Z

看完 6GB 和 8GB 显存用 Strata 跑 35B MoE 模型之后，很多人的第一反应是能不能用同样的办法跑 Qwen3.8-27B 这种稠密模型。这篇聊聊为什么专家缓存在稠密模型上会失效，以及单卡 16GB 显存下围绕显存规划、GGUF 混合量化原位 GEMV 和单流执行所做的工程实践。

Indi

timqian 1 小时前

硬核了

评论于为什么专家缓存救不了稠密模型：16GB 显存跑 27B Dense 模型的推理优化实践1 条评论

收录 1,568 个博客
本周 147 位博主更新
24 小时内 47 篇

分类

随机逛一个博客 →

Star24.3k

Indi 收录中文独立博客，

每小时检查一次 RSS。

30 天内有更新的博客每小时检查一次，一年内有更新的每 3 小时，更久没更新的每 12 小时。抓取失败时会先照常重试，失败超过一天后逐步降低频率（12 小时、3 天、7 天）；连续 7 天抓不到标记为疑似失效，超过 90 天标记为已失效、每 90 天才检查一次。恢复后自动回到正常节奏。RSS 没有变化时只发一个很小的请求，不会重复下载。

欢迎在 GitHub 上提交你的博客。