研究称白化预条件内层优化器影响副本扩展表现

Eugene Belilovsky、Stefan Horoi、Edouard Oyallon 和 Benjamin Thérien 在 arXiv 论文《How Inner Optimizers Shape Replica Scaling》中研究内层优化器如何影响大语言模型的副本扩展。基于论文摘要，作者从伪梯度协方差结构和批量大小对噪声尺度的影响解释优化器差异，并理论结合实验论证白化预条件是内层优化器的重要特性。 作者报告，在总训练预算固定、8 至 96 个副本的评估中，白化内层优化器取得较强的副本扩展表现，且相对数据并行训练的优势随参数和数据规模扩大而提升。以上内容基于论文摘要，全文和具体实验细节材料未提供。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。