摘要
根因分析(RCA)全面测试了 LLM 代理的长上下文理解、多步推理及工具使用能力。然而,现有数据集仅标注根因而缺失连接症状的传播路径,导致任务退化为简单的模式匹配。为此,本文提出 PAVE,一种利用故障注入已知干预重构因果传播路径的逐步标注协议,采用从因到果的前向验证机制。基于此构建的 OpenRCA 2.0 基准显示,当前顶尖模型在精确恢复根因集方面表现不佳。研究发现,代理虽能识别部分正确服务,却难以将其 grounded 于已验证的因果路径中,揭示了仅凭结果评估所掩盖的关键失败模式。
AI 推荐理由
论文核心在于通过因果过程监督提升多步推理能力,解决现有评估中模式匹配的缺陷。
研究机构
The Chinese University of Hong Kong, Shenzhen
论文信息