Thinker：面向具身智能的视觉 - 语言基础模型

大型视觉 - 语言模型在机器人领域应用时，常面临人类简单但模型易错的问题，如第一/三人称视角混淆及时间推理中忽略视频末尾信息。为此，我们提出 Thinker，一种面向具身智能的大型视觉 - 语言基础模型。我们从两方面应对挑战：首先，构建包含自我视角视频、视觉定位、空间理解及思维链数据的大规模机器人感知与推理数据集；其次，提出一种简单有效的方法，通过联合输入关键帧与完整视频序列，显著提升模型的视频理解能力。该模型在两个主流任务规划基准数据集上取得了最先进结果。