摘要
本报告针对 EgoVis 2026 CASTLE 挑战,评估基于 600 多小时多视角第一人称视频的长形式问答任务。该任务要求综合视频、转录文本、辅助照片及时空上下文等多源证据。我们提出了一种基于 Qwen 的证据感知多模态推理流水线。系统通过解析问题提示、检索自动语音识别片段、挂载辅助图像及采样候选视频帧,将问题路由至静态视觉、语音/文本、时间及混合类型,并应用专用提示词。最终采用置信度加权投票聚合多次推理结果。消融实验显示,LoRA 微调显著提升了性能,最终系统在挑战赛中排名第一。
AI 推荐理由
论文提出证据感知的多模态推理流水线,核心在于结合多种线索进行逻辑推导与问答。
研究机构
Key Laboratory of Intelligent Perception and Image Understanding
论文信息