原位测试时训练

针对大语言模型静态部署范式无法动态适应新信息的局限，本文提出原位测试时训练（In-Place TTT）框架。该方法将 MLP 块的最终投影矩阵视为可快速更新的权重，无需从头重训即可实现能力增强。通过设计与下一词预测任务对齐的理论目标及高效分块更新机制，实现了与上下文并行兼容的可扩展算法。实验表明，该框架显著提升了模型在长上下文任务中的表现，确立了其作为大模型持续学习新范式的潜力。