摘要
LLM 智能体在外部环境中行动时,单步错误可能导致严重后果,因此需要执行前的步级置信度估计。现有方法仅基于提示评分,忽略了执行后果。本文提出 Critic Experience Bank,一种自进化的评论家框架。该框架通过事后 LLM 根据完整执行反馈对每一步是否有效进行投票,生成伪标签并存入记忆库。当遇到相似步骤时,系统检索相关经验以辅助判断。该方法无需训练或真实标签,在多个基准测试中显著提升了置信度校准效果。
AI 推荐理由
论文提出自我进化的评论家框架,利用历史反馈持续优化置信度估计,核心在于自我改进机制。
研究机构
Pennsylvania State University
Purdue University
Amazon AGI
论文信息