Self-Improvement Reinforcement Learning Multi-Agent System Open-Ended Tasks
摘要

针对可验证奖励强化学习(RLVR)仅适用于数学编码等确定性问题,难以扩展至开放域任务的局限,本文提出基于任务转换的 RLSVR 范式。该方法将开放域任务转化为具有内部规则的代理环境,自动生成可验证奖励信号。通过构建类似“谁是卧底”的多智能体自博弈环境 SpyRL,利用预设身份产生的投票结果作为奖励,实现了文本摘要、创意写作等非验证任务上的模型自我提升,并显著优于现有方法。

AI 推荐理由

论文提出 RLSVR 范式,通过任务转换实现开放域任务的自我验证奖励,核心目标是驱动 LLM 自我改进。

研究机构
Duke University Adobe Inc. Oregon State University National University of Singapore Pennsylvania State University Amazon
论文信息
作者 Qinsi Wang, Jing Shi, Huazheng Wang, Kun Wan, Yiran Wu et al.
发布日期 2026-07-26
arXiv ID 2607.23802
相关性评分 9/10 (高度相关)