arXiv · cs.AI· Jiawei Chen, Yi Zhang, Jiawei Du, Zhonghou Lv, Tairan Chen, Junyuan Shang, Jinchang Hou, Xiao Yang, Yu Tian, Chenfu Bao, Chao Yu, Zhaoxia Yin·· 6 小时前
Beacon：重新思考大型推理模型的GRPO安全对齐
Rethinking GRPO for Large Reasoning Model Safety Alignment
arXiv:2610.23085v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Jiawei Chen, Yi Zhang, Jiawei Du, Zhonghou Lv, Tairan Chen, Junyuan Shang, Jinchang Hou, Xiao Yang, Yu Tian, Chenfu Bao, Chao Yu, Zhaoxia Yin
研究任务与主要进展
作者提出Beacon框架，用于解决大型推理模型在使用GRPO进行安全对齐时的优势值坍缩和不安全行为多样化问题。该框架包含安全信号恢复（SSR）和安全—效用解耦对齐（SUDA），分别通过轨迹筛选与安全参考监督恢复安全学习信号，并通过类别感知奖励和仅针对良性输出的KL锚定减少过度拒答。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org