摘要
为解决长上下文推理任务中标准注意力机制的二次复杂度问题,本文提出 MemReread 框架。该方法基于流式阅读,避免了中间检索带来的证据丢失和查询干扰。当最终记忆不足时,系统触发问题分解与重读机制,恢复被过早丢弃的间接事实,支持非线性推理并保持文档理解逻辑。此外,引入强化学习框架动态决定重读次数,平衡计算开销与长度外推能力。实验表明,该方法在保持线性时间复杂度的同时,显著优于现有基线。
AI 推荐理由
论文提出基于记忆引导的重读机制,核心解决长上下文中的记忆丢失与证据恢复问题。
研究机构
苏州大学
论文信息