Root Cause Analysis Agent Benchmark System Reliability Reasoning Evaluation
摘要

大语言模型虽能编写和修复代码,但值班根因分析(RCA)需在模糊报告下,对噪声指标、日志及源码进行复杂推理。本文推出 ORCA-bench 基准,模拟高保真生产环境,包含实时微服务系统及千余项 RCA 任务。评估显示,即便最强模型在中等难度任务准确率仅 25.3%,且常产生幻觉。研究表明,当前前沿代理在处理真实生产系统可靠性问题上仍有巨大差距,需大量工程投入方可安全部署。

AI 推荐理由

论文核心评估 Agent 在噪声数据中进行根因分析的推理能力,属核心研究。

研究机构
Cornell Tech Columbia University
论文信息
作者 Albert Gong, Kyuseong Choi, Abhineet Agarwal, Jason Schechner, Ryan Huang et al.
发布日期 2026-07-30
arXiv ID 2607.28545
相关性评分 9/10 (高度相关)