多模态推理中混合策略 RLVR 的可控探索

针对多模态大语言模型在可验证奖励强化学习（RLVR）训练中因状态空间巨大和奖励稀疏导致的熵崩溃及策略退化问题，本文提出 CalibRL 框架。该框架引入分布感知优势加权以校准分布并保留探索性，同时利用非对称激活函数结合专家知识作为基准，抑制过度自信的更新。实验表明，该方法有效缓解了策略与专家轨迹间的分布失配，在八个基准测试中显著提升了模型的推理性能，实现了探索与利用的稳定平衡。