AI 代理的整体评估与失败诊断

AI 代理执行复杂的多步过程，但现有评估存在不足：结果指标仅报告成败而无解释，过程级方法难以将失败类型关联至长结构化轨迹中的具体位置。本文提出一种整体代理评估框架，结合自上而下的代理级诊断与自下而上的跨度级评估，将分析分解为独立的每跨度评估。该方法可扩展至任意长度的轨迹，并为每个判决生成跨度级理由。在 TRAIL 基准上，该框架在 GAIA 和 SWE-Bench 的所有指标上均达到最先进水平。