arXiv · cs.AI· Jiawen Qi, Jiayu Liu, Chang Gao, Zhaochun Ren, Qinyu Chen·· 5 小时前
DeltaLLM：面向端侧大语言模型的Delta-Key稀疏注意力
DeltaLLM: Delta-Key Sparse Attention for Edge LLMs
arXiv:2507.19608v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Jiawen Qi, Jiayu Liu, Chang Gao, Zhaochun Ren, Qinyu Chen
研究任务与主要进展
论文提出无需微调的DeltaLLM框架，通过因果注意力感知的K-only Delta表示，在GQA中跨查询头复用Delta-Key，并用混合策略保留对角线附近的精确注意力、对其余区域采用Delta近似。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org