摘要
本文针对现有微服务故障诊断基准仅关注最终结果而忽视系统性推理过程的局限，提出了新的评估范式。作者引入了 AIOps2025 和 RCA100 两个大规模数据集，涵盖超过 500 个专家标注的故障案例。该基准从定位、识别及推理依据三个维度，全面评估智能体在多模态可观测数据下的诊断能力。这些经过竞赛验证的数据集为真实场景下的智能体推理过程评估提供了细粒度的因果证据支持。
AI 推荐理由
论文提出基于推理过程的评估范式，核心在于评估智能体故障诊断中的逻辑推理链条与证据 grounding。
研究机构
Computer Network Information Center, Chinese Academy of Sciences
Beijing, China
Key Laboratory for Satellite Digitalization Technology, Chinese Academy of Sciences
Shanghai, China
Nankai University
Tianjin, China
Chinese Academy of Sciences
论文信息