摘要
本文提出目标视角复现(TVR)任务及基准 TVRBench,评估基础模型在 3D 环境中通过主动调整视角以匹配目标图像的能力。研究发现现有模型在处理多轮视觉历史及身体平移时存在显著瓶颈。为此,作者构建了统一的后训练框架,涵盖专家轨迹微调、思维链监督及多轮强化学习。实验表明,视觉 - 动作微调与多轮强化学习显著提升了模型成功率,确立了 TVRBench 作为衡量和训练具身主动感知模型的重要测试平台。
AI 推荐理由
论文聚焦智能体在 3D 环境中的主动探索与多步动作规划,以匹配目标视角,核心在于空间行为规划。
研究机构
Zhejiang University
论文信息