摘要
可验证奖励的强化学习(RLVR)推动了多模态推理发展,但答案正确性无法确保模型基于视觉证据进行预测。现有方法依据干预类型而非实际效果分配监督信号,存在局限。本文提出 SIVA-RL 框架,采用基于样本结果的条件监督替代算子条件正则化。通过构建局部干预并利用冻结审计策略评分,将奖励下降作为软路由权重,分别驱动敏感性对齐与不变性对齐。该方法解耦了干预构建与监督分配,在九个多模态推理基准上显著优于现有 RL 基线。
AI 推荐理由
论文核心解决多模态推理中的视觉 grounding 问题,通过新框架显著提升推理基准表现。
研究机构
Shanghai Artificial Intelligence Laboratory
论文信息