大模型调研

背景 ChatGPT 2022.11 月问世之后引起的轰动一直在上升，但类似的做法和能力，在bert 2018年出现的时候基本就有了，一般认为 ChatGPT 的出现，是大模型大到一定程度后，能容纳的知识更加丰富，能力产生了质变，能应用几乎所有的对话类任务。 ChatGPT的训练成本过高，传言预训练一次需要200w美金，这应该也是openai 能在这个领域一骑绝尘的原因，并不是每个公司都有眼光和胆…