Indi
Tony's Lab u1-lab.xiaoxia.io

一个推理引擎把 125B/176B 的 MoE 模型摊进显存 / 内存 / 硬盘三层:四个架构创新、专家缓存怎么随对话自适应、「先猜后检」推测解码,外加 4090/5070 实测速度与选档门槛——附可交互的分层剖面…

讨论

还没有评论,来说第一句吧。

Tony's Lab 的其他文章