ProcBench：评估 LLM 编码智能体的过程级缺陷与控制保持

现有 LLM 编码智能体基准主要评估最终结果，缺乏对多步执行过程的洞察。本文提出 ProcBench，一个面向过程的评估框架，通过分类过程缺陷和衡量控制保持能力来评估智能体轨迹。该框架构建了可重用的缺陷本体，统一异构日志表示，并提供基于风险的校准评分卡。在三个基准上的实验表明，ProcBench 能有效诊断传统结果导向评估所忽略的过程级故障，提升了评估的可解释性与诊断价值。