关于自改进在线大语言模型对齐的收敛性研究

自改进对齐（SAIL）算法通过将双层问题简化为高效的单层方法来解决分布偏移问题，但其收敛性缺乏形式化分析。本文指出标准 SAIL 目标函数因海森矩阵性质不佳而无法保证强凹性。为此，我们提出引入反向 KL 散度惩罚的正则化目标 SAIL-RevKL，以改善优化景观。理论证明该目标在有界参数空间内满足 Polyak-Lojasiewicz 条件，确立了全局收敛保证及近线性样本复杂度。实验表明，SAIL-RevKL 在 MuJoCo 基准和 LLM 对齐任务上均优于原始 SAIL。