摘要
针对视觉 - 语言 - 动作模型在长程任务中因马尔可夫性质导致的局限，本文提出 Cortex 框架。该框架通过双向对齐机制，将高层视觉语言模型的可执行子任务规划有效传递至底层策略。研究标准化了 32 种原语技能，并在数据生成中注入可达性原则，利用事件平衡采样策略微调模型以处理规划歧义。实验表明，Cortex 在多个基准测试中优于单体基线，并能结合微调模型零样本完成未见过的真实世界长程复杂任务。
AI 推荐理由
论文核心解决长程任务规划问题，提出双向对齐框架以弥合高层规划与底层执行的鸿沟。
研究机构
1Tsinghua University
2Shanghai AI Laboratory
4USTC
3Peking University
论文信息