单卡A100预算约束下Muon与AdamW基准：同等数据损失更低但优化器耗时高

Mushir Akhtar等作者在arXiv发布基准论文，在单张A100 GPU上以统一的数据、时间和调参预算比较Muon与AdamW，覆盖17.7M、33.6M参数的因果语言模型和2.70M参数的视觉Transformer。结果显示：同等数据下Muon将验证损失的AUC降低3.25%–22.44%，并在全部20个主要配对中降低测试损失；但在候选池受限访问下Muon的期望后悔值更高。 论文同时给出开销口径：包含辅助AdamW更新的完整Muon优化器调用占训练时间的56.1%–69.6%，而AdamW基线仅占6.1%–9.1%。作者强调这些结果刻画的是使用参考内核的小模型，其墙钟时间排序不能推广到更大模型或优化后的实现。

AI 根据报道生成 · 1 天前更新