摘要
针对现有基于大语言模型的数据库智能体在评估范围、测试床及指标上的差异,本文提出 DBA-Bench 基准。该基准通过高保真生产环境模拟,解决了实时交互、观测空间复杂性、解空间开放性及场景覆盖度四大差距。利用配备活跃负载的 PostgreSQL 环境,定义了在安全约束下的成功恢复标准。评估涵盖九个基线组,结果显示自动化智能体的安全通过率远低于人类专家,尤其在复杂场景下,突显了端到端安全修复的挑战性。
AI 推荐理由
论文核心评估 LLM Agent 在真实数据库环境中的工具使用、故障诊断与修复技能。
研究机构
University of Electronic Science and Technology of China
电子科技大学
论文信息