张浩在路上
imzhanghao.com
预训练 预训练(Pre-trained Models,PTMs)的实施过程跟 迁移学习 是一样的，一般是先在一个基础数据集上进行任务训练，生成一个基础网络，然后将学习到的特征重新进行微调或者迁移到另一个目标网络上，用来训练新目标任务。 预训练是在大量常规数据集上学习数据中的“ 共性 ”，然后在特定领域的少量标注数据学习“ 特性 ”，这样子模型只需要从“共性”出发，去学习特定任务的“特性”部分即可。…
讨论
登录后参与讨论
还没有评论，来说第一句吧。