摘要
大型语言模型(LLM)的长上下文推理常受限于单次推理轨迹需同时探索上下文、存储中间状态及验证证据,导致早期错误易在提取、计数或多跳推理任务中传播。本文提出链式递归语言模型(Chained RLM),一种推理时架构,通过重复调用同一基础模型作为新的推理根节点来管理上下文。每个新根节点接收原始问题及前序节点生成的紧凑摘要、黑板和持久化工件,而非完整对话历史。该机制将大任务分解为部分任务,允许后续推理检查并修正中间结果,从而显著提升推理准确率。
AI 推荐理由
论文提出Chained RLM架构,旨在解决长上下文推理中的错误传播问题,核心聚焦于提升LLM的多步推理准确性。
研究机构
University of Maryland
论文信息