摘要
针对代理视频理解中迭代推理成本高、延迟大的问题,本文提出 Light-Omni 框架。该方法通过双重上下文状态实现单次前向传播的即时上下文构建:一是维护从情景记忆中持续整合的全局状态,兼顾近期细节与过往摘要;二是生成参数化潜在状态以直接驱动自主动作并产生检索嵌入。该设计实现了语义对齐的检索与反射式响应,避免了繁重的迭代推理。实验表明,其在多个基准上优于现有方法,显著提升了准确率、速度与显存效率。
AI 推荐理由
论文核心提出基于长期记忆的全局状态架构,通过记忆整合替代迭代推理,属记忆机制研究。
研究机构
Nanjing University
论文信息