摘要
CLIP 及其变体虽广泛用于多模态系统，但其预训练主要局限于描述性图文对齐。为满足下游应用对视觉常识推断及组合推理的需求，本文提出 ReasonCLIP-58M，一种将大规模推理监督融入 CLIP 风格模型的持续预训练框架。该框架采用两阶段策略，在保持描述性对齐的同时逐步整合推理信号，并辅以类别结构化监督。为此，我们构建了 ReasonLite-42M 和 ReasonPro-16M 数据集及 RCLIP-Bench 基准。实验表明，ReasonCLIP 显著提升了视觉常识与组合推理能力及零样本检索性能，可作为即插即用编码器增强多模态大模型，且无额外推理成本。
AI 推荐理由
论文核心在于通过持续预训练框架增强 CLIP 模型的视觉常识与组合推理能力，直接针对推理机制。
研究机构
Khalifa University
University of Western Australia
The Chinese University of Hong Kong
University of Melbourne
University of Central Florida
论文信息