TETPO：面向异步强化学习后训练的自适应温束策略优化方法发布

Shayan Mohajer Hamidi 等在 arXiv 发布 TETPO（Target-ESS Tempered Policy Optimization），一种面向大语言模型异步强化学习后训练的自适应重要性加权方法，通过调节重要性权重的幂次控制目标有效样本量，用一维二分搜索确定指数，以平滑控制方差。 论文还给出与策略漂移无关的归一化权重离散度和加权梯度范数界。摘要称在高策略陈旧度的数学推理基准上，TETPO 优于强在线与离线策略基线，但摘要未给出具体数值和实验细节，基于论文摘要，未能核验全文。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。