被忽视的后训练免费午餐：LLM Agent 的进程优势

过程奖励模型虽能实现大语言模型的细粒度步级评估，但在智能体场景中因长程交互与随机反馈而难以构建。本文证明，强化学习后训练本身已蕴含有效步级评分所需要素，无需专门训练奖励模型。作者推导出一类隐式“进程优势”，即 RL 策略与参考策略的对数概率比可精确恢复最优优势函数。该信号无需标注、领域无关且作为标准流程副产品自然产生。实验表明，其在测试时扩展、不确定性量化及失败归因任务上均优于现有基线及专用奖励模型。