HaloBlock提出扩散语言模型推理新方法

Zhaohui Zheng 等作者发布 HaloBlock 论文，提出一种面向扩散式大语言模型推理的难度感知自适应 halo 机制。该方法用双向累积熵刻画块解码难度，并在每个块两侧自适应分配双向 halo 区域，以缓解边界上下文不连续。 论文称，在 LLaDA-8B-Instruct、Dream-7B-Instruct 和 LLaDA-1.5 上、数学推理与代码生成基准评测中，HaloBlock 取得一致的准确率提升和更高的推理效率。源代码已在 GitHub 公开。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。