Conv-NS校正卷积中的Muon优化
热点事件观察中
Conv-NS校正卷积中的Muon优化
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Thibaut Boissin等四人提出Conv-NS，用卷积算子几何近似极因子并保持卷积核结构，以修正标准Muon实现将四维卷积核重塑为矩阵导致的理论失配。 基于论文摘要，Conv-NS与重塑式Muon在CIFAR-10和ImageNet分类的快速训练中均计算效率较高、精度相当，但理论对齐的Conv-NS尚未带来预期优势。作者推测，严格的卷积正交化可能过度约束更新；代码已公开，本文信息仅来自摘要。
AI 根据报道生成 · 1 小时前更新
最新进展10月7日 12:00
卷积中的 Muon：理论上不当，实践中有效报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv · cs.AI卷积中的 Muon：理论上不当，实践中有效
研究指出，Muon 在卷积中将四维卷积核直接重塑为矩阵会破坏其理论解释，并提出基于卷积算子几何的 Convolutional Newton-Schulz（Conv-NS）方法。基于论文摘要，Conv-NS 与 reshape-based Muon 在 CIFAR-10 和 ImageNet 分类快速训练中均具有较高计算效率，精度相当，但理论对齐的 Conv-NS 尚未显示出预期优势。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。