arXiv · cs.AI· Junlong Jia, Jiang Zhou, Xing Wu, Chaochen Gao Tinghao Yu, Feng Zhang, Lilin Wang·· 2 天前
长上下文扩展的数据选择受控研究：truncLongPPL提升长文档训练效果
Which Long Documents Matter? A Controlled Study of Data Selection for Context Extension
arXiv:2610.24469v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Junlong Jia, Jiang Zhou, Xing Wu, Chaochen Gao Tinghao Yu, Feng Zhang, Lilin Wang
研究任务与主要进展
研究团队在Qwen2.5-3B、128K上下文和匹配6B token继续训练预算下比较长文档数据选择流程，发现高LongPPL key-token密度选择优于随机采样，重打包在更长评测长度下不占优。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org