面向具身智能体的环境理解视觉 - 语言模型

针对现有视觉 - 语言模型在具身智能体环境中理解不足的问题，本文提出环境理解具身智能体框架。该框架微调对象感知、任务规划、动作理解及目标识别四项核心技能，并引入利用这些技能的恢复步骤及优化不一致预测的群体相对策略优化阶段。实验表明，该方法在 ALFRED 任务上显著优于行为克隆基线，平均成功率提升 8.86%，后续优化阶段再增益 3.03%，有效增强了指令跟随的可靠性。