摘要
针对多模态大模型在细粒度视觉识别(FGVR)任务中表现不佳且依赖大量标注数据的问题,本文提出 Fine-R1 模型。该方法采用 R1 风格训练框架:首先利用包含视觉分析、候选比较等理由的高质量思维链数据进行监督微调;其次引入三元组增强策略优化,通过类内混合提升鲁棒性,类间区分增强判别力。实验表明,仅需 4 样本训练,Fine-R1 在可见与未见子类别识别上均超越现有通用模型及专用 CLIP 模型。
AI 推荐理由
论文核心是通过思维链(CoT)推理框架提升多模态模型的细粒度识别能力。
研究机构
北京大学计算机技术学院
论文信息