摘要
随着大语言模型在长程任务中的部署，上下文长度增加导致的“上下文退化”成为关键问题。本文聚焦深度搜索场景，揭示广泛存在的退化现象：过长上下文致使模型过早放弃或给出不确定答案。通过剪枝实验验证了累积上下文与退化的关系。研究系统评估了七种上下文管理方法及一种感知退化的拒绝采样策略，证明两者结合可显著提升性能，为长上下文管理提供了明确指导。
AI 推荐理由
论文核心研究长上下文中的记忆退化（Context Rot）及管理策略，直接对应记忆机制。
研究机构
上海交通大学
GAIR
复旦大学
论文信息