TSLM：用于发散性思维的树结构语言建模

语言模型通常顺序生成推理内容，难以在搜索过程中解耦无关的探索路径。本文提出树结构语言建模（TSLM），利用特殊令牌编码分支结构，使模型能在单次生成过程中产生并选择性扩展多条搜索路径。通过在包含成功与失败尝试的完整搜索树上进行训练，TSLM 学会了内部化系统探索机制，避免了对共享前缀的冗余重计算。该方法无需外部搜索所需的多重独立前向传播，实现了鲁棒的性能与卓越的推理效率，为开发语言模型的系统探索能力提供了高效的新范式。