模型详解配置 构建大模型需要考虑的因素归一化方法、位置编码、激活函数、注意力计算 image-20250709173129303 层数L、注意力头数N、特征维度N 归一化方法 为什么要做归一化? 不同特征在空间中的尺度不同，对损失优化的影响不一致 特征尺度差异会导致损失函数各方向的梯度下降速度不同。尺度大的特征梯度更新剧烈，迫使模型花费更多迭代次数调整...…
模型详解配置 构建大模型需要考虑的因素归一化方法、位置编码、激活函数、注意力计算 image-20250709173129303 层数L、注意力头数N、特征维度N 归一化方法 为什么要做归一化? 不同特征在空间中的尺度不同，对损失优化的影响不一致 特征尺度差异会导致损失函数各方向的梯度下降速度不同。尺度大的特征梯度更新剧烈，迫使模型花费更多迭代次数调整...…
讨论
登录后参与讨论
还没有评论，来说第一句吧。