论文提出Beacon改进GRPO安全对齐

Jiawei Chen 等人在 arXiv 发布论文，针对大型推理模型用 GRPO 做安全对齐时的两类失效模式——同质 rollout 组导致优势值坍缩、不安全行为持续并多样化——提出 Beacon 框架。框架包含两个组件：安全信号恢复（SSR）通过轨迹筛选与安全参考监督恢复安全学习信号；安全—效用解耦对齐（SUDA）通过类别感知奖励和仅对良性输出做 KL 锚定来减少过度拒答。 论文摘要称，在四个 Qwen3 和 DeepSeek-R1-Distill 变体、八个基准上的实验中，该框架取得最佳的平均安全与推理表现，平均安全错误最多降低 32.83 个百分点，同时保持较低的过度拒答。上述结果基于论文摘要，尚未经独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。