COBALT：离线轨迹上下文多臂老虎机训练多轮代码生成

OSU-NLP-Group 在论文中提出 COBALT，一种复用参考大语言模型生成的离线多轮代码轨迹的方法：将轨迹拆分为部分轨迹后开展在线上下文多臂老虎机（contextual bandit）学习，用于训练模型完成多轮代码生成，避免在线 RL 采样开销（论文称）。作者报告，在 LiveCodeBench 上，COBALT 将 R1-Distill 8B 和 Qwen3 8B 的 Pass@1 分别最多提升 9.0 和 6.2 个绝对百分点，并与使用 GRPO 和 VeRPO 的两个多轮在线 RL 基线性能相当。 以上数字来自论文摘要，属于作者声称的结果，尚无独立验证。该方法的核心增量在于用离线轨迹替代在线 RL 交互来训练多轮代码生成，但论文材料的适用范围限于所测 8B 模型与 LiveCodeBench 基准。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。