摘要
本报告介绍了 MARS 系统，旨在解决 EgoVis 2026 CASTLE 挑战赛中的多模态代理推理任务。该挑战要求基于四天的活动记录、15 个同步视角及多种辅助模态（如 gaze、热成像等）回答封闭性问题。MARS 将任务定义为多模态源上的代理证据选择问题，首先构建包含视频、转录本及辅助数据的证据记忆。针对长视频，采用摘要压缩 temporal 证据。推理阶段，GPT-5.4 决策代理动态选择继续推理、请求缺失模态、生成答案或随机回退。该系统最终在排行榜获得第二名。
AI 推荐理由
论文核心在于多模态证据选择与代理推理机制，直接解决复杂场景下的推理问题。
研究机构
Harbin Institute of Technology (Shenzhen)
Pengcheng Laboratory
Shandong Jiaozhou University
论文信息