神经网络训练就是前向、损失、反向、更新四步循环。本文用一个可手算的标量网络逐步推出反向传播梯度，再推广到两层 MLP 的矩阵求导，给出 NumPy 手写与 PyTorch 对照实现和真实训练曲线，最后说明固定窗口 MLP 为什么处理不好序列、RNN 改了哪一条边。…
神经网络训练就是前向、损失、反向、更新四步循环。本文用一个可手算的标量网络逐步推出反向传播梯度，再推广到两层 MLP 的矩阵求导，给出 NumPy 手写与 PyTorch 对照实现和真实训练曲线，最后说明固定窗口 MLP 为什么处理不好序列、RNN 改了哪一条边。…
讨论
登录后参与讨论
还没有评论，来说第一句吧。