▲ 除了交叉熵，LM Loss还有什么选择？ 科科学空间 kexue.fm 2026/08/09 一直以来，交叉熵（Cross Entropy）都是LLM预训练和微调的标准损失函数。那这个“标准”可以改吗？如果想改，那又有哪些选择呢？改完之后又会带来什么影响呢？可能很多读者从未认真推敲过这些...… 讨论 登录后参与讨论 还没有评论，来说第一句吧。 科学空间 的其他文章 如何让GDN2更稳定一些？ 2026/10/09 通过微扰分析求解等式约束优化问题 2026/10/03 慢即是快：1. Shampoo的尽头是Muon？ 2026/09/28 排序不等式及其推广 2026/09/21 让炼丹更科学一些（十）：单调性假设的拆与补 2026/09/14
讨论
登录后参与讨论
还没有评论，来说第一句吧。