从静态上下文到校准交互式强化学习：利用对齐模拟器缓解多轮对话中的分布偏移

本文旨在开发高交互性的大语言模型对话代理。研究指出，基于固定离线日志的静态上下文强化学习与基于提示的模拟器交互式强化学习，均受限于上下文分布偏移问题，导致对话质量随轮次急剧下降。该偏移源于策略诱导和模拟器诱导两方面。为此，作者提出“校准交互式强化学习”框架，通过将交互式强化学习与模拟器对齐相结合，缩小模拟与现实的差距。实验表明，该方法有效缓解了分布偏移，显著提升了下游任务性能。