回答需忠实：为视觉 - 语言模型强化学习返回流畅且有依据的答案

强化学习是提升视觉 - 语言模型（VLM）推理能力的重要范式，但直接应用易导致不稳定，产生流畅却缺乏视觉依据的推理轨迹。为此，本文提出“忠实预热”（FWS）策略：首先从六个通用 VQA 基准中筛选具有明确视 - 语因果关系的样本构建 FaithfulQA 数据集，并利用基于 VLM 的评判器进一步净化数据，确保强因果一致性与视觉忠实度。该预热阶段使模型在稀疏奖励的强化学习优化前，先掌握因果落地的视 - 语模式。实验表明，这种忠实监督显著提高了答案准确率，稳定了训练过程，并减少了无视觉支持的推理。