张一帆提出面向智能体的KLPO框架

Yifan Zhang提出KL正则化策略优化（KLPO）框架，用于大语言模型智能体的异步强化学习；论文称，它通过在采样器自身轨迹上以最小二乘拟合对数比率最优条件，处理过期检查点及推理引擎与训练器概率不一致问题，无需重要性权重。 作者称，由此得到无评论器更新，每个提示仅需一次采样，且不依赖学习型归一化器或成组响应。当前依据为arXiv论文摘要，尚不能视为独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。