OPERA：通过基于目标困惑度的强化学习对齐开放域推理

强化学习使 LLM 在数学和代码生成等目标推理任务中表现出色，但在创意写作等开放域任务中应用仍具挑战，因 LLM 作为裁判的奖励模型常存在风格偏见和位置不一致。为此，我们提出 OPERA（基于目标困惑度的反思对齐），用源自困惑度动态的内在奖励替代不可靠的外部裁判，量化关键反思状态下的不确定性减少。在冷启动阶段，引入数据合成方法，利用精心设计的引导词生成多样推理轨迹，并结合困惑度优先的 rollout，利用内部对数概率识别逻辑一致的推理分支。该流程产生包含 20,000 条高质量推理轨迹的大规模数据集。实证评估表明，该方法在开放域任务对齐中具可扩展性和有效性。在 Qwen3-8B 上实现 OPERA，在开源模型中达到新 SOTA，部分开放域任务上与 Gemini2.5 和 MiniMax-M2.5 等专有模型持平或超越。