Root Cause Analysis Causal Reasoning Agent Evaluation Process Supervision
摘要

根因分析(RCA)全面测试了 LLM 代理的长上下文理解、多步推理及工具使用能力。然而,现有数据集仅标注根因而缺失连接症状的传播路径,导致任务退化为简单的模式匹配。为此,本文提出 PAVE,一种利用故障注入已知干预重构因果传播路径的逐步标注协议,采用从因到果的前向验证机制。基于此构建的 OpenRCA 2.0 基准显示,当前顶尖模型在精确恢复根因集方面表现不佳。研究发现,代理虽能识别部分正确服务,却难以将其 grounded 于已验证的因果路径中,揭示了仅凭结果评估所掩盖的关键失败模式。

AI 推荐理由

论文核心在于通过因果过程监督提升多步推理能力,解决现有评估中模式匹配的缺陷。

研究机构
The Chinese University of Hong Kong, Shenzhen
论文信息
作者 Aoyang Fang, Yifan Yang, Jin'ao Shang, Qisheng Lu, Junjielung Xu et al.
发布日期 2026-06-25
arXiv ID 2606.27154
相关性评分 9/10 (高度相关)