1、dropout 和 cos 组合使用带来的问题 孪生网络中，如果 dropout 这一层用于 cos 计算相似度的话，预测阶段的输出值会比训练阶段的值更大，相差一个 dropout 值：$sim_score_{predict} = sim_score_{train} / dropout$ 这是训练和预测阶段 dropout 用法不一致带来的问题。 但这个问题包含一个假设：即 dropout 层…
1、dropout 和 cos 组合使用带来的问题 孪生网络中，如果 dropout 这一层用于 cos 计算相似度的话，预测阶段的输出值会比训练阶段的值更大，相差一个 dropout 值：$sim_score_{predict} = sim_score_{train} / dropout$ 这是训练和预测阶段 dropout 用法不一致带来的问题。 但这个问题包含一个假设：即 dropout 层…
讨论
登录后参与讨论
还没有评论，来说第一句吧。