摘要
大型视觉语言模型(VLM)在交互环境中作为智能体时,成功依赖于多轮次间的连贯推理与决策。尽管端到端训练能提升此类能力,现有方法主要依赖令牌级或轮次级的单一优化策略。本文建立了两级优化的理论公式,推导了兼顾两者的混合优势,并证明统一的评论家模型可同时估计两者价值。据此提出的 HyGAE 框架联合优化令牌与轮次目标,在五个多轮决策环境中平均成功率达 91%,显著优于其他方法。分析表明,混合优势的确切解析形式对优化至关重要。
AI 推荐理由
论文核心解决 VLM Agent 在多轮交互中的连贯推理与决策问题,提出混合优势估计优化推理过程。
研究机构
KAUST
论文信息