预训练自然语言模型

范范叶亮的博客 leovan.me 2020/03/28

本文为 Pre-trained Models for Natural Language Processing: A Survey 和相关模型的读书笔记 1 。 在当下的 NLP 研究领域，随着计算机算力的不断增强，越来越多的通用语言表征的预训练模型（Pre-trained Models，PTMs）逐渐涌现出来。这对下游的 NLP 任务非常有帮助，可以避免大量从零开始训练新的模型。PTM 大致可以分…