Prompt Optimization Vision-Language Models Self-Improvement Multimodal Learning
摘要

自动提示优化(APO)常被用于适配视觉语言模型,但在多模态任务中受限于缺乏图像输入的“盲目”反馈通道。本文提出跨模态视觉反馈(CMVF)方法,包含失败条件下的视觉诊断阶段和误差感知聚合阶段,将观察压缩为可重用的视觉盲点模式以驱动提示重写。该方法仅在优化阶段使用图像,部署时仍为文本提示。实验表明,CMVF 在多个数据集上显著优于基线,且优化器能自组织为可迁移的专家式视觉检查清单。

AI 推荐理由

论文核心研究自动提示优化与自我改进机制,通过视觉反馈实现模型能力的自适应进化。

研究机构
The Chinese University of Hong Kong, Shenzhen, China Peking University, China
论文信息
作者 Haoyue Liu, Xiaoyu Ma, Ye Chen, Yuexian Zou, Xiaoying Tang
发布日期 2026-07-27
arXiv ID 2607.24354
相关性评分 9/10 (高度相关)