论文评测三种免训练RAG策略生成SQL与API调用的效果

Tim Schlippe、Simon Martin 和 Michael Marketsmüller 发表论文，评测 Standard RAG、Relevance Filtering RAG 和 Iterative Retrieval RAG 三种免训练检索增强生成配置在自然语言生成 SQL 查询、REST API 调用及二者混合路由任务中的表现。 评测基于 SAP Transactional Banking 构建的专家审核数据集（含 mock 执行筛选），在仅数据库、仅 API 和混合文档三种文档设置下对比各配置。结果显示：不使用检索时所有任务的精确匹配准确率为 0%；使用检索后 mock 执行成功最高达 79.30%，组件匹配准确率最高达 78.86%。但检索并非在所有设置下都有效：在混合文档下的 REST API 调用生成中，Iterative Retrieval RAG 的 mock 执行成功（50.53%）低于 Standard RAG（75.79%）。 以上结果为作者论文报告的数据，基于其数据集与 mock 执行口径，尚未见独立复现。

AI 根据报道生成 · 9 小时前更新