摘要
针对现有第一人称视频理解评估忽视程序性推理的问题,本文提出 EgoProceVQA 任务及基准,系统评估多模态大模型的关键步骤推理能力。为此,构建了数据生成平台 EgoProceGen。进一步提出 EgoProceAgent 框架,设计通用工具库与标准化子技能库,使代理能在无监督下通过探索子技能的组合与选择,自主发现有效策略。实验表明该方法在开源模型中取得了最先进性能,为程序性 AI 助手奠定了基础。
AI 推荐理由
论文提出自我技能探索框架,核心在于子技能库构建、组合与选择机制。
研究机构
The Hong Kong Polytechnic University
Hong Kong, China
论文信息