DASC：压缩混合线性注意力循环状态，减内存提吞吐

Yanqi Yu 等在 arXiv 论文中提出 DASC（衰减感知状态压缩）方法，用于压缩混合线性注意力服务中持久化的循环状态检查点：从模型权重推导保留时间尺度，选择长保留的状态单元，并以不规则布局打包，配合张量并行负载均衡提升缓存管理效率。 在 Kimi-Linear 的检索与端到端推理基准上，保守配置下 DASC 将 KDA 循环状态检查点压缩 2.63 倍，准确率接近全量缓存；在固定状态检查点内存预算下，容量提升使平均 TTFT 降低 42.6%，输入吞吐提升 68.4%。更大压缩率下，后缀刷新可挽回大部分精度损失，代价是额外的重放计算。

AI 根据报道生成 · 2 小时前更新