为何多步工具使用强化学习会崩溃以及监督信号如何修复它

工具使用使大语言模型能执行复杂任务，但纯强化学习常导致不稳定甚至性能灾难性崩溃。研究发现，崩溃源于特定控制令牌的概率尖峰破坏了执行结构，而底层工具能力并未丧失。为此，本文系统研究了多种监督信号（如离策略监督、提示引导等）在同步与交错训练 scheme 下的效果。结果表明，将监督微调与强化学习交错进行可显著提升稳定性，但在分布外评估中表现有所下降。研究强调了理解强化学习失败机制的重要性，并展示了多样化监督信号如何引导探索性学习，实现鲁棒的多步工具使用训练。