摘要
交错多模态推理通过在多步生成中重访视觉证据来提升视觉定位能力，但现有方法通常依赖令牌回放。直接复用历史视觉键值（KV）缓存会导致因位置绑定过时而引发的注意力扭曲及解码崩溃。为此，本文提出位置重绑定缓存复用（PRCR）框架。该方法存储原始视觉 KV 缓存及其空间坐标，在注入前根据当前解码状态重新分配坐标并重绑定键值。实验表明，PRCR 在保持甚至超越回放性能的同时，将计算量降低了数万倍，显著提升了多模态推理基准的平均准确率。
AI 推荐理由
论文核心解决多模态推理中的视觉重访机制，通过优化 KV 缓存复用提升推理效率与准确性。
研究机构
Sun Yat-sen University
Shenzhen Loop Area Institute
Harbin Institute of Technology (HIT)
Fudan University
论文信息