Clean：通过 Nyström Sketching 实现线性内存成本的二阶大语言模型训练

作者提出面向大语言模型预训练的 Clean 优化器，利用随机 Nyström 方法近似 SOAP 的左右预条件器，并将优化器内存复杂度从模型维度的二次降低为线性，同时重新纳入低秩近似之外的曲率信息。

摘自 arXiv · cs.AI

还没有足够的连续观测数据，暂不绘制趋势。