摘要
现有基准仅评估代码结果正确性,忽视了过程纪律的重要性。本文提出 RigorBench,首个衡量 AI 编码智能体过程纪律的基准,涵盖规划保真度、验证覆盖等五大维度。实验表明,结构化过程纪律不仅显著提升过程质量评分(平均 41%),还将下游结果正确率提高 17%,证明了智能体编码过程与产出同等重要。
AI 推荐理由
论文核心关注智能体在编码过程中的规划保真度及工程纪律,直接评估规划能力。
研究机构
Google
论文信息