arXiv · cs.AI· Li Nanbo, Firas Laakom, Yilan Zhang, Piotr Pi\k{e}kos, Yimeng Chen, Liangyu Wang, Yifan Xu, Mateusz Ostaszewski, Dandan Guo, Wenyi Wang, Yanning Dai, Yuhui Wang, J\"{u}rgen Schmidhuber·· 7 小时前精选
NoteBank通过稀疏情景记忆与原生重放释放线性注意力长上下文能力
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
arXiv:2610.15715v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Li Nanbo, Firas Laakom, Yilan Zhang, Piotr Pi\k{e}kos, Yimeng Chen, Liangyu Wang, Yifan Xu, Mateusz Ostaszewski, Dandan Guo, Wenyi Wang, Yanning Dai, Yuhui Wang, J\"{u}rgen Schmidhuber
研究任务与主要进展
作者提出训练免、插件式的NoteBank，通过稀疏情景记忆归档选定文本，并利用主干原生特征和前向重放提升线性注意力的长上下文能力。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
本站判断
基于论文摘要，NoteBank将稀疏情景存储与主干原生重放结合，试图突破线性注意力固定状态容量的限制；在100万token时，Gated DeltaNet六项RULER检索任务平均准确率由1.7%升至70.3%，同时报告极低的分析FLOPs与持久存储开销。其效果依赖被归档证据和重放机制，具体任务迁移、资源口径及不同主干上的稳定性仍需结合全文和进一步实验核对。本站设想：可在相同模型、上下文长度和资源预算下，与更强外部检索器及增大线性注意力状态的方案比较长上下文准确率、延迟和总成本。
来源：arXiv · cs.AI · arxiv.org