arXiv · cs.AI· Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, Sanae Lotfi, Micah Goldblum, Pavel Izmailov·· 2 天前精选
LCLM：通过端到端上下文压缩提升长上下文推理效率
End-to-End Context Compression at Scale
arXiv:2606.09659v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, Sanae Lotfi, Micah Goldblum, Pavel Izmailov
研究任务与主要进展
基于论文摘要，作者提出Latent Context Language Models（LCLMs），通过架构搜索和持续预训练，在通用任务性能、压缩速度与峰值显存占用之间改善Pareto前沿；其编码器规模为0.6B、解码器规模为4B，每个模型在近400B tokens上训练，压缩比包括1:4、1:8和1:16。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
本站判断
基于论文摘要，LCLM通过架构搜索和大规模持续预训练，在通用任务性能、压缩速度与峰值显存占用之间改善Pareto前沿，并支持长程Agent按需展开压缩上下文及压缩模型自身推理记忆。结论目前限于摘要所述实验，完整基线、生产推理引擎兼容性和端到端成本仍需结合全文核验。
来源：arXiv · cs.AI · arxiv.org