Multimodal LLMs Memory Mechanism Reasoning Enhancement Training-free Method
摘要

多模态大推理模型(MLRMs)在视觉理解和多步推理任务中表现优异,但随着推理轨迹增长,模型难以有效利用早期信息,导致错误风险增加。现有方法主要依赖持续的视觉定位,但推理过程会将视觉观察转化为特定关系、约束和中间结论,这些信息在长轨迹中易被削弱。本文提出TRAM(Trajectory-derived Auxiliary Memory),一种无需训练的免训练方法,通过从模型自身的推理轨迹中提取辅助记忆路径来增强标准解码。TRAM将完成的推理整合为紧凑的潜在记忆,并通过快速和慢速循环流在线更新,最后通过轻量级残差路径反馈至选定的解码器层。实验表明,TRAM在数学、科学及通用视觉推理任务上显著提升了性能。

AI 推荐理由

论文核心提出TRAM机制,通过轨迹衍生辅助记忆解决长推理中的信息遗忘问题,直接针对记忆增强架构。

研究机构
Northeastern University, China
论文信息
作者 Kang Liu, Zijing Wang, Yongkang Liu, Mengjie Zhao, Xiaocui Yang et al.
发布日期 2026-08-03
arXiv ID 2608.01922
相关性评分 9/10 (高度相关)