VLM Agent Reinforcement Learning Multi-turn Decision Making Advantage Estimation
摘要

大型视觉语言模型(VLM)在交互环境中作为智能体时,成功依赖于多轮次间的连贯推理与决策。尽管端到端训练能提升此类能力,现有方法主要依赖令牌级或轮次级的单一优化策略。本文建立了两级优化的理论公式,推导了兼顾两者的混合优势,并证明统一的评论家模型可同时估计两者价值。据此提出的 HyGAE 框架联合优化令牌与轮次目标,在五个多轮决策环境中平均成功率达 91%,显著优于其他方法。分析表明,混合优势的确切解析形式对优化至关重要。

AI 推荐理由

论文核心解决 VLM Agent 在多轮交互中的连贯推理与决策问题,提出混合优势估计优化推理过程。

研究机构
KAUST
论文信息
作者 Wenxuan Zhang, Yuhui Wang, Donggang Jia, Xiaoqian Shen, Jian Ding et al.
发布日期 2026-07-26
arXiv ID 2607.23605
相关性评分 9/10 (高度相关)