提出EvoProbe：评测驱动的LLM智能体基准演化框架

Qianhong Guo 等在arXiv论文中提出EvoProbe，将任务生成、诊断评测和反馈驱动的任务再生成组成闭环，用于持续演化大语言模型智能体评测基准。框架结合可验证子任务结果评分与有证据支持的多评审轨迹评估，提取阶段级瓶颈及成功与失败模式。 基于论文摘要，网络安全场景的两轮实验对8个模型的66项任务进行了评测，发现聚合分数之外存在阶段级性能差异和常见失败模式；在按反馈更新的任务上，8个模型的Outcome得分均下降，平均Outcome相对降低11.8%，平均Pass^3相对降低40.0%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。