言行一致：通过多模态智能体策略优化弥合图像思维中的推理 - 行动鸿沟

近期多模态大语言模型鼓励在多轮推理中调用视觉工具进行“图像思维”。然而，仅依赖结果奖励的强化学习忽略了文本合理性可能掩盖执行失败的问题，导致推理与行动脱节，累积噪声并削弱推理能力。本文提出多模态智能体策略优化（MAPO），要求模型对工具获取的视觉内容生成明确文本描述，并利用描述与观测的语义对齐结合任务奖励进行优势估计。理论证明该方法降低梯度方差，实验表明其在多个视觉推理基准上性能优越。