提出LangDiT架构改善连续扩散语言模型生成

Weijian Luo 等在 arXiv 发布论文，对连续扩散语言模型（CDLM）的 Transformer 架构进行系统研究，提出 Language Diffusion Transformer（LangDiT）。该架构包含特征与查询-键归一化、更宽噪声条件、似然捷径梯度路由与校准、置信度门控训练自条件等设计，可作为即插即用骨干网络替换。 作者称，以 LangDiT 为骨干在 OpenWebText 数据集上 1024 token 无条件生成任务达到新的 SOTA：使用 1024 NFE 时生成困惑度（GenPPL）为 21.72，128 NFE 时为 44.72。论文认为架构设计是连续扩散语言模型性能提升的重要来源。以上数字与结论均为论文作者报告，尚属论文声称阶段。

AI 根据报道生成 · 3 小时前更新