LYon's Blog
yindongliang.com
我们来详细介绍一下 Byte-pair Encoding（BPE） ，这是一种在自然语言处理（NLP）领域非常流行且重要的子词分词算法。 1. 核心思想：解决什么问题的？ 在 NLP 任务中，我们需要将文本转换成模型能够理解的数字，即“分词”。传统方法主要有两种： 词级分词 ：将句子分成独立的单词。 问题 ： 词汇表爆炸 ：词汇表可能会变得非常庞大（例如几十万甚至上百万词），尤其是对于有丰富形态变…
讨论
登录后参与讨论
还没有评论，来说第一句吧。