AdaDPO：具有平衡梯度更新的自适应性直接偏好优化

针对直接偏好优化（DPO）中存在的梯度不对称问题，即抑制非偏好响应快于提升偏好响应，本文提出 AdaDPO。这是一种自适应性 DPO 变体，通过引入基于生成概率的系数，强制平衡偏好与非偏好概率间的梯度幅度。实验表明，AdaDPO 在多项指标上优于原始 DPO，有效缓解了长度偏差并提升了优化效率。该方法仅需修改损失函数，即可无缝集成至现有对齐流程，并可推广至多种对比偏好损失算法。