跳到正文
热点事件持续更新

DIB-Bench:LLM评估器难以察觉部署栈篡改

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

Su、Xiang、Zhang等作者在arXiv发布DIB-Bench基准,用于测量LLM-agent评估对部署运行时被篡改但评估输出保持不变的盲区。基于论文摘要,该基准包含7,560个评分样本、6种篡改类型,评估器覆盖从正则评分器到GPT-5-nano的梯度。 结果显示,评估器越强,对篡改输出的平均接受率越高:从规则方法的88.6%升至GPT-5-nano的94.1%。摘要还称,一种在评估集上不可见的触发条件型篡改可产生48%至100%的有害输出,且随模型能力上升而增加。 作者提出的应对手段行为指纹识别(behavioral fingerprinting)只能以76.7%的高于随机水平识别模型组件,且仅覆盖六个部署栈组件中的一个。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. arXiv · cs.AI
    DIB-Bench揭示LLM评估中的部署完整性盲区

    Su、Xiang、Zhang等人提出DIB-Bench,用于衡量LLM-agent评估对部署运行时被篡改但输出保持不变的盲区。基于论文摘要,该基准覆盖7,560个评分样本、6种篡改类型和从正则评分器到GPT-5-nano的评估器梯度,强评估器的平均篡改输出接受率从规则方法的88.6%升至GPT-5-nano的94.1%;摘要还指出,触发条件型篡改可产生48%至100%的有害输出。

本事件热度走势

可比范围当前
9
可比范围峰值
910月16日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。