论文证明实际Muon选择Frobenius最大间隔方向
热点事件持续更新
论文证明实际Muon选择Frobenius最大间隔方向
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Yongtao Wu、Mahdi Mansouri、Zhenyu Zhu 在 arXiv 论文（2610.20112）中证明：Muon 用有限次 Newton-Schulz 迭代加正稳定常数来近似正交化，这使其在可分数据的线性分类中收敛到 Frobenius 最大间隔方向，而非谱最大间隔方向；该结论也适用于指数移动平均和 Nesterov 式动量。 作者通过可求和扰动论证参数轨迹与梯度下降相距有界，并区分不同近似参数下的渐近行为；当 Newton-Schulz 迭代次数随训练以对数增长时，可恢复谱最大间隔偏置。以上基于论文摘要。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
Muon 的有限 Newton-Schulz 近似如何使其从谱最大间隔偏置转向 Frobenius 偏置报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv · cs.AIMuon 的有限 Newton-Schulz 近似如何使其从谱最大间隔偏置转向 Frobenius 偏置
基于论文摘要，作者证明有限次 Newton-Schulz 迭代和正稳定常数会使 Muon 在可分线性分类中选择 Frobenius 最大间隔方向，而非谱最大间隔方向；该现象也适用于指数移动平均和 Nesterov 式动量。作者通过可求和扰动论证参数轨迹与梯度下降相距有界，并区分不同近似参数下的渐近行为；当 Newton-Schulz 迭代次数随训练以对数增长时，Muon 可恢复谱最大间隔偏置。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。