NoteBank：训练免稀疏情景记忆扩展线性注意力长上下文

Li Nanbo、Firas Laakom 等（含 Jürgen Schmidhuber）发布论文，提出训练免、即插即用的稀疏情景记忆 NoteBank，在查询到来前归档选定文本，用主干模型的原生特征写入与寻址，并通过前向重放读出检索证据，以扩展线性注意力的长上下文能力，无需外部嵌入模型、单独训练的检索器或独立神经读取器。 论文称，在 100 万 token 下，NoteBank 将 Gated DeltaNet 在六个 RULER 检索任务上的平均准确率从 1.7% 提升至 70.3%，且 4K 到 1M token 间未观察到明显检索退化；实验从三个 1.3B 循环主干扩展到 Mamba-2-8B 和后训练的 Qwen3.5-9B，在 LongBench v1/v2 与 MemoryAgentBench 上均有提升。

AI 根据报道生成 · 1 天前更新