摘要
大型语言模型智能体在部分可观察的长程任务中面临监督数据稀缺的瓶颈。本文提出事后监督学习（HSL），利用辅助 LLM 审查已完成轨迹，重标注其实际达成的自然语言目标，并将轨迹与重标注目标配对用于微调。为缓解数据次优性，引入了无关动作掩码和样本重加权技术。实验表明，HSL 兼容现有后训练流程，显著提升了 SFT 和 DPO 效果，尤其在长程任务中表现优异，且具备极高的样本效率。
AI 推荐理由
提出 HSL 方法，利用事后重标注数据微调 Agent，实现自我改进与性能提升，属核心进化机制。
研究机构
Mila, McGill University
Adobe Research
论文信息