摘要
大语言模型在单轮生成表现优异，但在长程多轮交互中面临挑战。离线强化学习虽具扩展性，但依赖高质量多轮轨迹数据。针对合成数据质量异构问题，本文提出 BOOST 双层优化框架：内层训练重加权数据的模型，外层基于验证任务训练轻量级重加权头，无需外部评判器即可分配连续轨迹权重。理论推导揭示了多样性、任务偏移与样本效率间的权衡。实验表明该方法显著优于基线，能有效识别并对齐真实分布的高质量合成轨迹。
AI 推荐理由
论文提出双层优化框架微调 LLM，通过自我改进数据权重提升多轮交互能力，属自我进化范畴。
研究机构
Harvard University
论文信息