提出DGA-Muon优化方法
热点事件观察中
提出DGA-Muon优化方法
1 篇报道1 个报道来源1 天前更新
先了解这件事
报道摘要
Wenpeng Zhang 与 Runsheng Yu 提出 DGA-Muon,通过从原始梯度直接计算缩放因子,并将缩放维度与矩阵形状对应的极分解正交结构匹配,以改进 Muon 的自适应机制。
摘自 arXiv · cs.AI
最新进展10月7日 19:39
DGA-Muon:解耦几何对齐的自适应 Muon 缩放方法报道时间线
沿着报道,了解事件的不同侧面。
10月7日
- arXiv · cs.AIDGA-Muon:解耦几何对齐的自适应 Muon 缩放方法
Wenpeng Zhang 与 Runsheng Yu 提出 DGA-Muon,通过从原始梯度直接计算缩放因子,并将缩放维度与矩阵形状对应的极分解正交结构匹配,以改进 Muon 的自适应机制。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。