arXiv · cs.AI· Jianchang Su, Dawei Xiang, Yifan Zhang, Wei Zhang·· 6 小时前
DIB-Bench揭示LLM评估中的部署完整性盲区
Stronger Judges Do Not See More: Deployment-Integrity Blindness in LLM Evaluation
arXiv:2610.21135v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Jianchang Su, Dawei Xiang, Yifan Zhang, Wei Zhang
研究任务与主要进展
Su、Xiang、Zhang等人提出DIB-Bench，用于衡量LLM-agent评估对部署运行时被篡改但输出保持不变的盲区。基于论文摘要，该基准覆盖7,560个评分样本、6种篡改类型和从正则评分器到GPT-5-nano的评估器梯度，强评估器的平均篡改输出接受率从规则方法的88.6%升至GPT-5-nano的94.1%；摘要还指出，触发条件型篡改可产生48%至100%的有害输出。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org