arXiv · cs.AI· Junming Chen, Junyang Jiang, Xu Chen, Zibo Liang, Kai Zheng·· 11 小时前
DBA-Bench:面向LLM数据库运维Agent的生产级保真评测基准
DBA-Bench: A Production-Fidelity Benchmark for LLM-Based Database Operations Agents
arXiv:2607.22165v2阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Junming Chen, Junyang Jiang, Xu Chen, Zibo Liang, Kai Zheng
研究任务与主要进展
基于论文摘要,作者提出DBA-Bench,用于在承载活动工作负载、持续状态和多源观测的PostgreSQL与分布式TiDB环境中评测LLM数据库运维Agent。基准覆盖5个运维领域的231个有界场景和10个持续场景,并评测8个自动化基线;结果显示,Agent可能能定位根因却无法恢复运营目标,或在恢复目标时违反安全约束。持续场景还暴露出其难以协调竞争工作负载,并在后续变更后检查此前已完成的修复。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org