Java不加糖's Blog
blog.javazero.top
主干一次前向只出一个 token。DSpark 是挂在主干后面的三层草稿模块：一次前向给出 5 个位置的 logits，用一个秩 256 的 Markov head 补上草稿 token 之间的依赖，再由 confidence head 和调度器按当前负载决定送几个给主干验证。这一篇从投机解码的接受规则讲起，推出并行草稿为什么越往后越不准，调度器的阈值为什么随负载变，以及按置信度截断在什么条件下不…
讨论
登录后参与讨论
还没有评论，来说第一句吧。