摘要
推理模型通过扩展测试时计算能力来增强问题解决能力,但面临一个关键悖论:过多的思考标记往往会降低性能。我们将其归因于架构上的根本缺陷:标准LLMs作为“仅malloc”的引擎,持续累积有效和冗余步骤,而没有机制来修剪过时信息。为打破这一循环,我们提出了Free()LM,该模型通过可插拔的LoRA适配器Free-Module引入内在的自我遗忘能力。通过在推理和清理模式之间迭代切换,Free()LM动态识别并修剪无用上下文块,从而保持紧凑且无噪声的状态。大量实验表明,Free()LM在所有模型规模(8B到685B)上均取得一致改进,平均比顶级推理基线提升3.3%,甚至在IMOanswerBench上使用DeepSeek V3.2-Speciale实现了新的SOTA。特别值得注意的是,在标准Qwen3-235B-A22B模型在长周期任务中完全崩溃(0%准确率)的情况下,Free()LM将性能恢复至50%。我们的发现表明,可持续智能需要与思考能力一样强大的遗忘自由。
AI 推荐理由
论文核心提出了一种自遗忘机制,直接针对LLM推理过程中信息冗余和无效内容积累的问题,属于Agent Memory机制的核心研究。
论文信息