arXiv论文提出对称兼容优化器设计原则并在LM预训练中验证

Tim Tsz-Kit Lau 与 Weijie Su 在 arXiv 论文（v5）中提出一种优化器设计原则：梯度更新规则应在作用于对应权重块的对称群下保持等变，并据此为嵌入、LM Head、SwiGLU MLP 和 MoE 路由器推导优化器。 据论文摘要，作者在密集与稀疏 MoE 语言模型预训练实验（包括 Qwen3-0.6B-style、Gemma 3 1B-style、OLMoE-1B-7B-style 和缩小版 gpt-oss 架构）中验证了该原则，称这些对称兼容更新规则一致改善最终验证损失，并在稀疏 MoE 模型中减轻专家负载不平衡；部分实验还改善了词表 logit 增长以及路由器和整体训练稳定性。以上结果为作者在摘要中的说法，基于论文摘要、未见全文核验。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。