跳到正文
热点事件观察中

提出DGA-Muon优化方法

1 篇报道1 个报道来源1 天前更新

先了解这件事

报道摘要

Wenpeng Zhang 与 Runsheng Yu 提出 DGA-Muon,通过从原始梯度直接计算缩放因子,并将缩放维度与矩阵形状对应的极分解正交结构匹配,以改进 Muon 的自适应机制。

摘自 arXiv · cs.AI

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv · cs.AI
    DGA-Muon:解耦几何对齐的自适应 Muon 缩放方法

    Wenpeng Zhang 与 Runsheng Yu 提出 DGA-Muon,通过从原始梯度直接计算缩放因子,并将缩放维度与矩阵形状对应的极分解正交结构匹配,以改进 Muon 的自适应机制。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。