arXiv · cs.AI· Huaisheng Zhu, Hangfan Zhang, Teng Xiao, Siyuan Xu, Shijie Zhou, Zhimeng Guo, Zhengyu Chen, Jingang Wang·· 6 小时前
EvalBuilder：评估 LLM 智能体构建高效基准的能力
EvalBuilder: Can LLMs Build Efficient Benchmarks?
arXiv:2610.20099v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Huaisheng Zhu, Hangfan Zhang, Teng Xiao, Siyuan Xu, Shijie Zhou, Zhimeng Guo, Zhengyu Chen, Jingang Wang
研究任务与主要进展
作者提出 EvalBuilder，用于评估 LLM 智能体能否在降低评测成本的同时，构建能够区分候选模型和方案的低成本代理基准。该框架从保真度、效率和鲁棒性三个方面进行元评测，考察基准是否保持模型排序、泛化到留出模型和新收集的回答，并提供校准良好且具有区分度的分数；同时，论文摘要称其支持在固定时间预算下迭代优化基准。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org