大模型技术基础 大语言模型概念 定义： 通常指具有超大规模参数的预训练模型 架构：主要为transformer解码器架构 训练： 预训练（base model) 建立模型的基础能力 数据： 海量文本数据 优化：预测下一个词 后训练 (instruct model) 增强模型的任务能力 数据： 大量指令数据 优化： SFT、RL等方法 下游应用 测速（推...…
大模型技术基础 大语言模型概念 定义： 通常指具有超大规模参数的预训练模型 架构：主要为transformer解码器架构 训练： 预训练（base model) 建立模型的基础能力 数据： 海量文本数据 优化：预测下一个词 后训练 (instruct model) 增强模型的任务能力 数据： 大量指令数据 优化： SFT、RL等方法 下游应用 测速（推...…
讨论
登录后参与讨论
还没有评论，来说第一句吧。