摘要
针对可验证奖励强化学习(RLVR)仅适用于数学编码等确定性问题,难以扩展至开放域任务的局限,本文提出基于任务转换的 RLSVR 范式。该方法将开放域任务转化为具有内部规则的代理环境,自动生成可验证奖励信号。通过构建类似“谁是卧底”的多智能体自博弈环境 SpyRL,利用预设身份产生的投票结果作为奖励,实现了文本摘要、创意写作等非验证任务上的模型自我提升,并显著优于现有方法。
AI 推荐理由
论文提出 RLSVR 范式,通过任务转换实现开放域任务的自我验证奖励,核心目标是驱动 LLM 自我改进。
研究机构
Duke University
Adobe Inc.
Oregon State University
National University of Singapore
Pennsylvania State University
Amazon
论文信息