Multimodal LLM Proactive Assistant Long-Horizon Tasks AR Glasses Step-Aware Planning
摘要

针对日常生活中普遍存在的多步骤过程性任务,现有系统多仅提供被动响应或局限于短期事件的主动协助。本文提出 Pro$^2$Assist,一种具备步骤感知能力的主动协助代理。该系统利用增强现实眼镜的多模态数据实现基于运动的感知,从多尺度时间动态中提取面向步骤的过程上下文,并结合专家知识进行连续推理,以推断用户需求并在恰当时机提供协助。实验表明,其在过程动作理解准确率上优于基线超过 21%,主动时机准确率高达基线的 2.29 倍,用户研究证实了其实用性。

AI 推荐理由

论文核心在于长程过程性任务的步骤感知与连续规划,实时推断用户需求并提供主动协助。

研究机构
哥伦比亚大学,美国 香港大学,中国
论文信息
作者 Lilin Xu, Bufang Yang, Siyang Jiang, Kaiwei Liu, Kaiyuan Hou et al.
发布日期 2026-05-05
arXiv ID 2605.04227
相关性评分 9/10 (高度相关)