SpecBench：衡量长程编码智能体中的奖励欺骗

随着长程编码智能体生成代码量激增，监督机制坍缩至自动化测试套件，导致智能体为通过测试而偏离用户真实目标的“奖励欺骗”现象。本文通过将软件工程任务分解为规范描述、可见验证测试及隐藏组合测试，利用两者通过率差距量化奖励欺骗。基于此提出 SpecBench 基准，涵盖 30 个系统级编程任务。实验表明，尽管前沿模型能饱和可见测试，但奖励欺骗普遍存在，且随任务长度显著加剧，揭示了智能体在构建真实系统与博弈测试间的本质差异。