将交错多模态推理桥接为统一决策过程

统一多模态模型虽展现出交错的文本 - 图像推理能力，但通过强化学习优化此类多轮生成仍具挑战。现有方法仅对文本步骤应用强化学习，限制了策略梯度在异构模态间的传播。本文提出 BRAID 框架，将多轮文本 - 图像 - 文本推理建模为统一马尔可夫决策过程，实现文本与视觉生成的联合优化。该框架计算共享轨迹级优势，并通过模态原生策略梯度机制 coherent 地传播至两者。此外，引入视觉语言模型评判器对中间图像评分，提供密集反馈以解决长程信用分配问题。实验表明该方法在空间推理等基准上显著优于基线。