掩码扩散并行采样依赖图结构

研究团队证明，掩码扩散模型中广泛使用的最低熵等并行解掩码评分并非始终优于随机并行采样；即使条件概率精确，效果仍取决于样本依赖结构，并在受控随机游走图上给出理论结果。 作者提出免训练的二分采样器；在学习到的边缘分布精确时，该方法对随机游走具有可证明的精确性。基于预训练模型的实验称，二分采样器在OpenWebText生成及GSM8K、MBPP、HumanEval推理任务上提供速度与生成质量权衡，但不同图结构适用的采样器不同。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。