OmicsBench：长程多轮生物信息学Agent基准发布

Gideon Shaked 和 Siddharth Nagisetty 在 arXiv 发布论文，提出面向 AI Agent 的长程多轮生物信息学基准 OmicsBench。基准包含 97 个任务，每个任务将相互依赖的子任务组织成有向无环图，共 662 个底层子任务，并支持对错误答案提供上下文反馈。 评测覆盖 12 个模型在 3 种执行框架上的组合：无反馈时平均得分 0.43—0.57（满分 1），有反馈时提升至 0.54—0.67，没有任何组合接近饱和；最慢的 Agent 平均每个任务耗时 3.6 小时。研究还提出无监督失败模式发现流程，通过描述、嵌入和聚类 Agent 的失败尝试来显现新兴失败模式。 以上内容基于论文摘要。

AI 根据报道生成 · 1 天前更新