FORCE：通过价值校准预热和自蒸馏实现高效的 VLA 强化微调

视觉 - 语言 - 动作（VLA）模型常受限于次优数据导致的模仿上限。虽然强化学习（RL）微调可突破此限制，但样本效率极低。针对 Q 函数不稳定导致的初始遗忘及低质量探索数据引发的策略更新低效问题，本文提出 FORCE 三阶段框架。该方法引入价值校准预热阶段以缓解分布偏移，并利用校准后的 Q 函数过滤动作提案与专家数据，仅保留高价值动作进行更新。实验表明，FORCE 在无需人工干预下将成功率绝对提升 79%，训练加速 32.5%，显著推动了自主机器人智能体的部署。