DSABench：多数据库Agent评测基准发布

Jinlong Luo、Haoran Wu、Bo Xu 等作者在 arXiv 发布 DSABench，一个评测 Agent 数据源发现、跨数据库协调和执行能力的基准，含 815 个经人工审核的任务，其中 618 个需要多个数据库协作，105 个允许不止一种数据源解释，任务基于 Spider、BIRD 和 LiveSQLBench 构建，并有 RouteEnv 等评估组件。 论文的初步评测显示当前模型表现有限：跨七个模型后端仅做路由（routing-only）时最高 RA-Set 得分为 60.55%；非特权设置的 Route+Exec-Graph 成功率中位数在不加澄清时为 6.69%–7.98%，允许一次澄清时为 11.44%–13.25%。这些数字基于论文报告，属作者自己的评测结果。

AI 根据报道生成 · 1 天前更新