摘要
大型语言模型作为智能体 interacting 环境时，常存在“反思差距”，即无法依据反馈准确评估自身表现。本文提出 RefGRPO 方法，通过对比智能体反思与实际结果计算免费校准奖励，并动态调整系数，无需额外奖励模型。实验表明，该方法在文本转 SQL 任务中显著降低低估率（44.4% 至 7.7%）并提升准确率。校准后的反思使智能体成为基于环境反馈的自我验证者，支持无监督自我改进及测试时选择性预测。
AI 推荐理由
论文核心解决 Agent 自我评估偏差，通过反射校准实现自我改进与自适应，属自我进化范畴。
研究机构
加利福尼亚大学河滨分校
论文信息