跳到正文
热点事件观察中

变异测试审计发现RL奖励验证器放过副作用漏洞

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Richard Abrich 发布论文,提出用变异测试审计强化学习可验证奖励(RLVR)中的奖励验证器:对正确运行做手写修改(遗漏工作、写错或加入未请求的额外变更),检查验证器是否会漏判。结论是只检查所请求变更的验证器会放过已完成任务但引入副作用的运行。 基于论文摘要的审计结果:WorkArena 表单验证器在提交后一次性调用时,对含与不含未请求字段的全部36对有效运行均判定通过;改为逐步调用后仍放过11条运行中的7条。AppWorld 中,重复运行的最后一次写入在48个任务中的33个里不改变结果,但有两个模板的测试全部放过重复写入;为每个模板加一条计数断言后,可拒绝全部6条重复运行并通过全部6条正确运行。

AI 根据报道生成 · 10 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. arXiv · cs.AI
    变异测试揭示可验证奖励验证器的副作用漏检

    一项强化学习可验证奖励研究用变异测试发现,只检查所请求变更的验证器会放过已完成任务但引入额外副作用的运行。基于论文摘要,WorkArena 表单验证器一次性调用时,对含与不含未请求字段的36对有效运行均判定通过;逐步调用时,也放过11条运行中的7条。

本事件热度走势

可比范围当前
5
可比范围峰值
610月21日 06:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。