理性奖励：推理奖励在训练和测试阶段均能扩展视觉生成能力

针对现有视觉生成奖励模型将人类判断简化为单一分数而丢弃底层推理的问题，本文提出让奖励模型在打分前生成显式的多维批评。该方法通过训练时的结构化理由提供细粒度强化学习奖励，并在测试时通过“生成 - 批评 - 优化”循环改进输出。作者提出了偏好锚定合理化框架（PARROT），无需昂贵标注即可从偏好数据中恢复高质量理由。实验表明，该模型在少数据下达到最先进水平，且测试时的推理优化效果可媲美基于强化学习的微调。