▲ 从参数对称性到有效学习率 科科学空间 kexue.fm 2026/10/27 近来，越来越多的论文或者博客，开始基于参数的对称性来分析和指导模型的优化，比如Hyperball、HyperTransfer、ELR等，它们总体都是围绕着$\ell(\boldsymbol{w}...… 讨论 登录后参与讨论 还没有评论，来说第一句吧。 科学空间 的其他文章 平均之路：从Attention到TTT 2026/11/01 连续化 Softmax Attention 2026/10/19 慢即是快：2. Adam的尽头还是Muon？ 2026/10/15 如何让GDN2更稳定一些？ 2026/10/09 通过微扰分析求解等式约束优化问题 2026/10/03
讨论
登录后参与讨论
还没有评论，来说第一句吧。