探究可扩展表格数据如何增强通用长上下文推理

随着现实任务日益复杂，长上下文推理已成为大语言模型的核心能力。本文发现具有周期结构的结构化表格数据对长上下文推理潜力巨大。通过互信息数学分析，揭示了表格数据中的周期性非消失依赖关系。基于此，作者提出 TableLong 流水线，利用强化学习合成高质量表格数据以增强推理。实验表明，该方法在多个长上下文基准上平均提升 8.24%，并在域外基准上提升 8.06%，为后训练数据优化提供了实践指导。