通过在物理模拟器上进行强化学习解决物理奥林匹克竞赛问题

针对大语言模型在物理领域缺乏大规模问答数据以训练推理能力的瓶颈，本文提出利用物理模拟器作为监督信号来源。通过在物理引擎中生成随机场景及合成问答对，并采用强化学习进行训练，模型在无需真实数据微调的情况下，实现了向现实世界物理基准的零样本迁移。实验表明，仅使用合成模拟数据训练即可将国际物理奥林匹克竞赛问题的解决率提升 5-10 个百分点，证明了模拟器作为可扩展数据生成器在增强 LLM 深度物理推理技能方面的有效性。