离散扩散模型三种学习目标被证明统一于同一时间反演

Rodrigo Casado Noguerales 等在 arXiv 论文中提出，离散扩散模型的 denoiser、bridge plug-in 和 concrete score 三种学习目标都是加噪过程的精确时间反演，只是处于不同的坐标表示。作者推导了 Oracle Distance 恒等式及三种表示之间的精确转换，并指出 bridge plug-in 实际学习的是排除当前位置后的 cavity 分布。 作者用共享训练方案在 OpenWebText 上以 masked、uniform 和 GIDD 三种加噪核训练三种坐标，并在四个逻辑任务上训练 uniform 扩散求解器，以实验佐证该理论。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。