STaR：面向长时地平线多模态机器人记忆的可扩展任务条件检索

移动机器人通常在长时间跨度内部署于多样化的开放动态场景中，包括室内仓储和制造设施以及室外农业和道路作业环境。其核心挑战是构建一个可扩展的长时记忆系统，以支持代理式工作流进行规划、检索和推理，并针对开放指令生成精确的操作答案。本文提出STaR，一种代理推理框架，（i）构建了一个与任务无关的多模态长期记忆系统，能够泛化到未见过的查询并保留细粒度环境语义（如物体属性、空间关系和动态事件），（ii）引入了一种基于信息瓶颈原理的可扩展任务条件检索算法，从长期记忆中提取出紧凑、非冗余且信息丰富的候选记忆集用于上下文推理。我们在NaVQA（混合室内外校园场景）和WH-VQA（基于Isaac Sim构建的定制化仓库基准）上评估了STaR，强调上下文推理能力。在两个数据集上，STaR始终优于强基线，取得了更高的成功率和显著更低的空间误差。我们进一步在室内和室外环境中将STaR部署在真实的Husky轮式机器人上，展示了其在长时地平线推理、可扩展性和实用价值方面的鲁棒性。