OctoLong：用跨仓库代码依赖做长上下文中期训练

Indraneil Paul、Falko Helm、Goran Glavaš 与 Iryna Gurevych 发布论文（arXiv 2608.05141v2），提出 OctoLong 上下文工程管线和 OctoLong-Instruct 开放权重长上下文模型系列。管线用 AST 解析器、语言服务器后端和包管理器递归检索代码引用，构造依赖丰富、最长可达数百万 token 的跨仓库代码上下文。 模型基于 600M 到 14B 参数的基座模型，通过约 50B token 的混合数据做上下文扩展中期训练（其中约 6.2B token 为 OctoLong 代码上下文），随后做约 10B token 指令微调。作者称，仅将常规上下文扩展语料的 12% 替换为 OctoLong 数据，即可在长程检索、长期状态追踪、仓库级代码理解和下游 agentic 任务上带来显著提升。 以上提升数据来自论文作者声称，本站未独立核验。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。