优中选优：通过超越答案正确性的奖励激励可靠的多模态推理

可验证奖励的强化学习（RLVR）虽能提升多模态推理，但常导致“推理 - 答案不一致”，即答案正确却依赖薄弱证据或矛盾推导。为此，本文探讨轨迹监督方法，对比奖励模型与生成式奖励的优劣，并提出“分组排序奖励”机制。该方法在同一批次中对通过验证的轨迹进行排序并重新分配奖励，以更高效地区分强弱正确轨迹。实验表明，该方法显著缓解了不一致性，将条件准确率从 47.4% 提升至 54.7%。