论文重估DLM与ARM预训练算力差距

Guanghan Wang 等在 arXiv 论文（2610.17590）中重估扩散语言模型（DLM）与自回归语言模型（ARM）的预训练计算差距。基于约 1700 个模型、十个模型变体的缩放分析，采用模型自身解码顺序下的精确似然后，此前约 16 倍的差距降至 12.8 倍。论文称 16 倍这一数字大幅高估了 DLM 的预训练成本差距，从头预训练 DLM 比此前认为的更可行。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。