OpenAI · Alignment Research Blog· Melody Guan, Yuxiang Xie, Bowen Baker·· 15 小时前精选
OpenAI 提出 g-mean² 的互补指标：配对可监测性与部署后风险
Beyond g-mean²: complementary metrics for monitorability
研究任务与主要进展
OpenAI 提出配对可监测性和门控后风险两项指标，以补充 g-mean²：前者在双方共同支持的实例上比较模型，后者模拟监控器拒绝输出并按预算重试后的部署风险。合成实验显示配对方法可恢复预设排序，历史系统卡数据显示门控平均降低风险，但增加至 4 次尝试会重新引入漏检风险；干预评估另给出因果召回率的悲观下界，且过程评估结果不能代表完整输出分布中的部署风险。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请阅读原文核验。
本站判断
该研究针对单一 g-mean² 分数混淆任务选择差异、且未反映部署拒绝门控的局限，提出共享实例配对比较与拒绝后重试风险模拟。合成实验验证配对方法可恢复预设的可监测性排序，历史系统卡数据表明门控通常降低风险，但重试会重新引入漏检风险；结论仍受行为类别不可比、过程评估仅含正样本及部署方案假设的限制。本站设想：可在按行为类别和严重度分层后，比较三种指标对模型排序及部署风险估计是否稳定。
来源：OpenAI · Alignment Research Blog · alignment.openai.com