通过感知验证自训练提升视觉语言模型的推理能力

实现类人推理是视觉语言模型（VLM）的长期挑战。现有自训练方法常受视觉幻觉和语言捷径困扰，因仅依据答案正确性过滤数据而缺乏视觉感知验证。本文提出一种感知验证自训练框架，强制实施基于视觉的推理。首先，采用“描述 - 推理 - 结论”模板分离感知与推理；其次，提出无监督的 PerceptEval 方法评估字幕质量。基于此将数据分为易、中、难三类，并设计两阶段课程学习策略：先在简单样本上训练，再通过字幕引导的推理增强过程纳入中等样本，仅保留结论正确的再生数据，从而有效提升模型推理的地面真实性。