跳到正文
arXiv · cs.AI· Rui Wang, Zishen Lai, Jiayu Liu, Cheng Qian, Jeonghwan Kim, Heng Wang, Xuejun Zhang, Jiateng Liu, Bingxuan Li, Shujin Wu, Qing Zong, Tianshi Zheng, Chunyang Li, Qihan Lin, Chen Li, Dadi Guo, Xiusi Chen, Yangqiu Song·· 2 天前

AdaExploreBench:评测LLM Agent在演化环境中的主动探索与测试时适应

AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments

arXiv:2610.25950v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Rui Wang, Zishen Lai, Jiayu Liu, Cheng Qian, Jeonghwan Kim, Heng Wang, Xuejun Zhang, Jiateng Liu, Bingxuan Li, Shujin Wu, Qing Zong, Tianshi Zheng, Chunyang Li, Qihan Lin, Chen Li, Dadi Guo, Xiusi Chen, Yangqiu Song

研究任务与主要进展

Rui Wang等人提出AdaExploreBench,用于评测LLM Agent在环境规则隐藏且发生隐性漂移时主动获取证据、推断规则并重新适应的能力。基于论文摘要,八个领先模型的实验中,GPT-6 Sol的校准准确率为61.9%;提供充分证据或移除规则漂移后,平均性能接近提升10%,显示Agent更擅长利用已有证据,但难以主动找到正确证据并识别旧信息已失效。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org