摘要
自动提示优化(APO)常被用于适配视觉语言模型,但在多模态任务中受限于缺乏图像输入的“盲目”反馈通道。本文提出跨模态视觉反馈(CMVF)方法,包含失败条件下的视觉诊断阶段和误差感知聚合阶段,将观察压缩为可重用的视觉盲点模式以驱动提示重写。该方法仅在优化阶段使用图像,部署时仍为文本提示。实验表明,CMVF 在多个数据集上显著优于基线,且优化器能自组织为可迁移的专家式视觉检查清单。
AI 推荐理由
论文核心研究自动提示优化与自我改进机制,通过视觉反馈实现模型能力的自适应进化。
研究机构
The Chinese University of Hong Kong, Shenzhen, China
Peking University, China
论文信息