词向量

范范叶亮的博客 leovan.me 2018/10/01

文本表示 文本表示是计算机处理自然语言的核心，我们希望计算机能够同人类一样对自然语言能够实现语义层面的理解，但这并非易事。在中文和拉丁语系中，文本的直观表示就存在一定的差异，拉丁语系中词与词之间存在天然的分隔符，而中文则没有。 I can eat glass, it doesn’t hurt me. 我能吞下玻璃而不伤身体。 所以，在处理中文之前我们往往需要对原始文本进行分词，在此我们…