摘要
传统直觉认为验证比生成容易,但在当前编码 Agent 中,随着模型推理能力提升,可靠验证已成为更难的问题。验证信号仅是人类意图的代理,面临意图未明确指定及训练优化导致的代理与意图差距扩大(如奖励黑客)的双重挑战。本文从可扩展性、忠实性和鲁棒性三个维度刻画验证信号质量,研究了四种奖励构建方式。实验表明,针对性的验证设计能有效抑制奖励黑客并提升任务完成质量。核心结论是:固定奖励函数无法随策略能力增长而持续有效,验证机制必须与生成器共同进化。
AI 推荐理由
论文核心探讨验证机制需随 Agent 能力共同进化,以解决奖励黑客问题,符合自我进化主题。
研究机构
No Silver Bullet—Essence and Accident in Software Engineering (1986)
论文信息