自我反思蒸馏将事后经验转化为事前预判
研究提出自我反思蒸馏（SRD），利用交互完成后的轨迹经验监督同一策略在行动前作出预判，以补充可验证奖励强化学习（RLVR）。基于论文摘要，SRD在10个工具集成推理和长时程智能体任务上相对RLVR与自蒸馏基线最高提升24.2个百分点。在2B设置中98%的轨迹组均为失败时，RLVR成功率为0.0%，加入SRD后在相同采样预算下达到60.6%。
动态展示门槛：AI 前沿与应用 ≥ 65 分，量子方向 ≥ 60 分；已确认精选照常展示。
#强化学习
arXiv · cs.AI
OpenAI · Alignment Research Blog精选 OpenAI：有益特质强化学习促进模型对齐泛化与持久性
OpenAI研究团队发现，在真实场景有益特质数据中加入少量强化学习训练，可使模型在53项内外部基准中的44项上超过同算力基线。训练于单一健康领域时，模型仍能改善非健康领域的欺骗、奖励投机和一般失配表现；去除健康与科学数据后，健康评测也获得提升。模型在对抗性提示和有害微调下表现出更强的行为持久性，但该结果仍属初步证据，尚需进一步区分有益特质训练与常规后训练强化学习的作用。
阅读价值：文章给出训练数据、对比基线与跨域评测，显示有益特质强化学习可改善多类安全相关行为并增强抗对抗引导能力。