Titan-Llama：后训练为Llama加神经记忆模块

Sarah Pan 与 Ali Behrouz 提出 Titan-Llama，一种后训练方法，为预训练注意力语言模型加入在测试时更新参数的分层神经记忆模块，压缩历史上下文并保留近期令牌的全保真注意力，代码已在 GitHub 发布。 在 Llama-3.2-1B-Instruct 上，相对于分段注意力窗口，QuALITY 准确率从 23.87% 提高到 40.51%，LongHealth 从 14.50% 提高到 40.75%。论文报告的推理基准显示，在所评估配置下 prefill 提速超过 20%，中等上下文长度下 decode 提速 37%，稳态 decode 内存占用降低 24%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。