StarOR：协同树搜索与测试时强化学习用于优化建模

优化建模具有层级性，需精确的符号承诺序列。传统方法依赖大量标注数据，适应性差；单次生成易因早期错误导致失效。测试时扩展虽具潜力，但现有搜索方法策略固定，存在偏差且信用分配有限。为此，本文提出 StarOR 框架，协同蒙特卡洛树搜索（MCTS）与测试时强化学习。该框架将建模分解为四阶段，在非终端节点利用 GRPO 更新瞬态 LoRA 适配器，并通过 MCTS 生成的兄弟节点作为局部对比集，实现实例特定的策略细化。此外，引入无监督多面奖励系统提供细粒度反馈。实验表明，StarOR 在五个基准上超越现有方法及前沿大模型。