基于双流强化学习的 Token 稀疏医疗多模态推理

视觉语言模型结合强化学习在多模态推理中进展显著，但在处理视觉证据极度稀疏的医疗图像时仍面临挑战。本文提出 ViToS，一种双流强化学习框架，通过主动剪枝非关键视觉 Token 来增强医疗推理能力。该框架训练单一策略模型包含两个任务分支：分别专注于定位和剪枝后的稀疏推理。此外，引入交叉反馈顺序优化策略解决耦合策略学习问题，避免梯度冲突并促进收敛。在七个医疗基准测试中，该方法将视觉 Token 减少至原长度的 77%，同时显著提升了模型性能与推理速度，确立了高效的医疗多模态推理新范式。