摘要
提示注入记忆可在不更新模型权重的情况下提升推理能力,但也引发了控制难题:仅当在正确状态下应用检索内容时才有效。本文在严格的无训练设定下研究该问题,将其形式化为适用性控制,涵盖何时触发记忆辅助的第二遍处理、何时信任检索结果以及如何随时间维护记忆库。该方法结合了基于不确定性的路由、基于置信度的选择性接受、规则与示例记忆库的选择,以及基于证据的记忆库治理机制。实验表明,该架构显著提升了算术基准测试性能,且证实是控制架构而非单纯的记忆暴露驱动了改进。
AI 推荐理由
论文提出无训练记忆控制架构,核心解决记忆检索的适用性与治理问题。
研究机构
Shanghai Qizhi Institute
Nanjing Whale Cloud
Southeast University
Xiamen University
论文信息