SpecFold以多分支推测解码加速扩散语言模型

SpecFold通过复用父分支中高度相似的隐藏状态，并以Triton实现稀疏多分支执行，降低扩散语言模型的推测解码验证开销。作者称，在两类扩散语言模型、5个模型和5个标准基准上，其吞吐较Spiffy最高提高1.64倍、较vanilla decoding最高提高1.99倍，同时保持相当的任务性能。 上述结果来自论文摘要，摘要未说明具体实验配置、运行平台和基准细节，不能据此判断端到端成本或硬件部署表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。