DeltaLLM提出免训练Delta-Key稀疏注意力加速边缘LLM预填充

论文团队（Jiawen Qi、Jiayu Liu、Chang Gao、Zhaochun Ren、Qinyu Chen）在arXiv发布DeltaLLM v2，提出无需微调的Delta-Key稀疏注意力框架，通过算法-硬件-数据流协同设计加速边缘LLM的预填充注意力。 方法上，该框架采用因果注意力感知的K-only Delta表示，使Delta-Key在GQA下可跨查询头复用；用混合策略保留对角线附近的精确注意力，其余区域用Delta近似。作者称在BitNet-b1.58-2B-4T和LLaMA3.2-1B-Instruct上达到最高60% Delta-Key稀疏度和63%结构化注意力分数稀疏度，平均精度损失可忽略；在KV260 FPGA板上相比TeLLMe-v2取得1.62倍加速，并降低DSP和BRAM用量。以上为论文声称的结果，基于摘要，未独立核验。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。