arXiv · cs.AI· Guanghan Wang, Bing He, Zhan Shi, Benoit Dumoulin, Hanqing Lu, Volodymyr Kuleshov·· 11 小时前
扩散语言模型与自回归语言模型的16倍预训练计算差距被重新评估
Revisiting the 16x Pretraining Compute Gap between Diffusion and Autoregressive Language Models
arXiv:2610.17590v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Guanghan Wang, Bing He, Zhan Shi, Benoit Dumoulin, Hanqing Lu, Volodymyr Kuleshov
研究任务与主要进展
作者通过约1700个模型、十个模型变体的缩放分析重新评估扩散语言模型（DLM）与自回归语言模型（ARM）的预训练计算差距。采用模型自身解码顺序下的精确似然后，差距由约16倍降至12.8倍；结合块大小为32的块扩散训练和编码器—解码器架构后降至7.8倍，块大小为8和4时进一步降至4.6倍和3.0倍。论文还报告了最优解码器深度的经验规则、超出拟合范围的计算预算测试，以及似然提升向基准准确率迁移的结果。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org