数据枯竭危机：AI发展面临的数据瓶颈与应对措施

逐逐水寻源 zair.top 2024/08/21

我们估计人类产生的的公共文本存量约为 300 万亿个token。如果趋势持续，语言模型将在 2026 年至 2032 年之间完全耗尽这一存量，或者如果过度训练，甚至会更早。 ——Epoch AI 在2006年，时任伊利诺伊大学教授的李飞飞（现为斯坦福大学教授）看到了互联网改变人工智能（AI）研究的潜力。语言学领域的研究已经识别出了8万个“名词同义词集”，即描述同一类事物的同义词集合。李飞飞推测，互…