相信你的直觉：基于置信度的视觉 - 语言 - 动作模型测试时强化学习

强化学习是推动视觉 - 语言 - 动作模型超越静态模仿学习的关键，但现有方法依赖外部环境反馈。本文发现高生成置信度的轨迹更易成功，据此提出 T^2VLA，一种架构无关的测试时强化学习框架。该方法利用与高置信度专家演示的轨迹相似度作为内在奖励，实现策略自举改进，无需外部奖励。此外，提出置信度驱动的双重专家自举机制，动态平衡局部伪专家探索与全局专家池稳定性。实验表明，T^2VLA 在多个基准上优于监督基线，接近拥有真实奖励的 oracle 性能。