Evaluation Framework Text-to-SQL Agentic Reasoning Enterprise AI
摘要

针对将自然语言转化为 SQL 并编排多步代理推理流程的企业 AI 系统,现有基准缺乏统一的生产级评估方案。本文提出 BADGER 框架,集成文本到 SQL 评估与代理行为评价。其贡献包括:扩展 Spider 方法以处理复杂 SQL 组件;提出混合执行准确率指标(Hybrid-EX),利用 LLM 推断结构对齐以解决数值容差问题,在行业查询验证中显著优于现有框架;构建包含新指标“过度工具使用”的企业代理评估套件。该框架支持在受控数据环境中运行,可作为持续评估 backbone。

AI 推荐理由

论文聚焦企业级生成式推理系统的评估框架,核心解决多步代理推理的准确性度量问题。

研究机构
Merkle Analytics
论文信息
作者 Shannon Serrao, Soumitra Chatterjee, Dorina Strori, Abhishek Sharma, Nathan Miller
发布日期 2026-06-01
arXiv ID 2606.02109
相关性评分 8/10 (高度相关)