跳到正文
arXiv · cs.AI· Loan Bernat (LAAS-GEPETTO), Matthieu Grard (LAAS-RAP), Ariane Herbulot (LAAS-RAP), Florent Lamiraux (LAAS-GEPETTO)·· 3 小时前

MAGMA-Bench:评估动态任务与执行故障下的长时程具身智能体

MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures

arXiv:2610.13534v1阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Loan Bernat (LAAS-GEPETTO), Matthieu Grard (LAAS-RAP), Ariane Herbulot (LAAS-RAP), Florent Lamiraux (LAAS-GEPETTO)

研究任务与主要进展

作者发布MAGMA-Bench,用于评估具身智能体在动态多机器人环境中的长时程任务推理,覆盖逐步增加的任务时长、执行失败、任务中断和任务更新。基准测试了本地部署的开源权重规划器、多智能体状态跟踪策略和前沿模型;即使最强模型在干净任务中也失败于相当比例的回合,在线扰动会进一步降低成功率,监督适配虽显著改善小模型但在更长和多机器人任务上仍明显受限。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org