arXiv · cs.AI· Angelika Romanou, Mark Ibrahim, Candace Ross, Chantal Shaib, Kerem Oktar, Samuel J. Bell, Anaelia Ovalle, Jesse Dodge, Antoine Bosselut, Koustuv Sinha, Adina Williams·· 2 天前
Brittlebench：通过提示变异性量化大语言模型稳健性
Brittlebench: Quantifying LLM robustness via prompt sensitivity
arXiv:2603.13285v3阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Angelika Romanou, Mark Ibrahim, Candace Ross, Chantal Shaib, Kerem Oktar, Samuel J. Bell, Anaelia Ovalle, Jesse Dodge, Antoine Bosselut, Koustuv Sinha, Adina Williams
期刊信息（来源提供）：Annual Conference on Neural Information Processing Systems (NeurIPS 2026)
研究任务与主要进展
基于论文摘要，Brittlebench 提出量化大语言模型提示敏感性的理论框架和评测流程，并通过语义保持扰动评估前沿模型。实验观察到模型性能最高下降12%，单次扰动在63%的情形下改变模型相对排名，扰动贡献的性能方差最高占模型总方差的一半。研究强调应系统评估提示变异性对模型性能比较结论的影响，论文链接：https://arxiv.org/abs/2603.13285v3。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org