跳到正文
热点事件观察中

MaskAhead用掩码引导管理扩散模型KV缓存

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

论文作者提出无训练的 MaskAhead:在块扩散语言模型中,分别利用当前块查询和后续掩码块查询指导 KV 缓存选择与驱逐,以应对长序列生成中的缓存管理。 基于论文摘要,该方法在 Fast-dLLM-v2、DreamReasoner 和 LLaDA2.0-mini 上进行了长生成推理、长提示问答及长文本检索实验;摘要未给出量化结果,现阶段不能据此确认具体性能提升。

AI 根据报道生成 · 41 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv · cs.AI
    MaskAhead通过掩码引导实现块扩散语言模型KV缓存选择与驱逐

    基于论文摘要,作者提出无训练的MaskAhead方法,用当前块和后续掩码块的查询分别指导KV缓存选择与驱逐,并在Fast-dLLM-v2、DreamReasoner和LLaDA2.0-mini上进行长生成推理、长提示问答和长文本检索实验。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。