通过故障感知可观测性早期诊断多智能体 LLM 系统中的计算浪费

本文提出一种故障感知可观测性框架，用于诊断多智能体大语言模型系统中的计算浪费问题。该框架将重复出现的失败模式映射到在线轨迹信号，包括工具可靠性、执行恢复、编排循环及证据可用性等。通过在三级问答系统中评估 165 个 GAIA 验证轨迹，研究发现操作失败普遍存在，主要源于证据不足、动作循环及工具连续失败等机制。结果表明，该框架能有效捕捉原始日志与最终准确率之间的中间诊断层，揭示不同难度级别下的令牌消耗增长与语义支持差异。