摘要
验证器驱动的自 DPO 是提升生产级视觉语言模型的常用方法，其假设更强的验证器能产生更强的学生模型。然而，本文证明该假设因验证器质量的高度任务特异性而可能失效。实验显示，在特定任务上表现良好的验证器，在其他任务上准确率骤降，导致学生模型性能显著倒退，且训练损失仍在下降。研究揭示了“自信错误”的验证器危害更大，并提出了基于方差定理的机理解释及部署建议。
AI 推荐理由
论文核心研究基于验证器的自改进机制及其在跨任务场景下的失效与回归问题。
研究机构
MetaAI
论文信息