Brittlebench：用语义保持扰动量化大模型提示敏感性

1. 12:00
   arXiv · cs.AI

   Brittlebench：通过提示变异性量化大语言模型稳健性

   基于论文摘要，Brittlebench 提出量化大语言模型提示敏感性的理论框架和评测流程，并通过语义保持扰动评估前沿模型。实验观察到模型性能最高下降12%，单次扰动在63%的情形下改变模型相对排名，扰动贡献的性能方差最高占模型总方差的一半。研究强调应系统评估提示变异性对模型性能比较结论的影响，论文链接：https://arxiv.org/abs/2603.13285v3。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。