OpenAI · Alignment Research Blog· Akshay V. Jagadeesh, Rahul Arora, Mikhail Trofimov, Khaled Saab, Ali Malik, Foivos Tsimpourlas, Karan Singhal·· 2026-06-19精选
OpenAI：有益特质强化学习促进模型对齐泛化与持久性
Reinforcement learning towards broadly and persistently beneficial models
研究任务与主要进展
OpenAI研究团队发现，在真实场景有益特质数据中加入少量强化学习训练，可使模型在53项内外部基准中的44项上超过同算力基线。训练于单一健康领域时，模型仍能改善非健康领域的欺骗、奖励投机和一般失配表现；去除健康与科学数据后，健康评测也获得提升。模型在对抗性提示和有害微调下表现出更强的行为持久性，但该结果仍属初步证据，尚需进一步区分有益特质训练与常规后训练强化学习的作用。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请阅读原文核验。
阅读价值
文章给出训练数据、对比基线与跨域评测，显示有益特质强化学习可改善多类安全相关行为并增强抗对抗引导能力。
来源：OpenAI · Alignment Research Blog · alignment.openai.com