摘要
视觉 - 语言 - 动作(VLA)模型在机器人控制中潜力巨大,但现有单帧架构存在忽视历史动态、高层指令与底层动作间推理断裂及自回归解码效率低等局限。本文提出 MIRTH 框架,通过双尺度时序记忆枢纽压缩场景演化与运动趋势,利用互信息目标优化潜在推理令牌以构建对齐多模态上下文与动作轨迹的语义计划空间,并采用并行动作解码方案提升控制吞吐量。实验表明该方法在 LIBERO 基准及真实机器人平台上达到最先进水平,并具备 emergent 错误恢复能力。
AI 推荐理由
论文提出潜在推理令牌构建语义计划空间,核心解决高层指令与底层动作间的规划鸿沟。
研究机构
日本立命馆大学信息科学与工程学院
论文信息