MILES：面向自改进 LLM 推理的模块化指令记忆与可学习选择

大型语言模型常通过额外计算提升测试时推理能力，但现有工作多孤立处理问题。本文提出 MILES 框架，旨在顺序问题解决中积累可复用经验。该方法动态扩展步级记忆，维护由子目标嵌入和子指令组成的不对称模块化单元，并关联可学习选择头。通过粗粒度到细粒度的检索机制，MILES 在有限监督下优化记忆组合以指导推理。实验表明，该方法在准确性与效率权衡上优于现有技术，具备显著的鲁棒性与迁移能力。