OpenWebRL：揭示视觉 Web 代理的在线多轮强化学习

构建高效的视觉 Web 代理需要长程推理、精确 grounding 及与动态网站的稳健交互。针对现有开放代理依赖昂贵静态数据集的瓶颈，本文提出 OpenWebRL，这是一个在真实网站上利用在线多轮强化学习（RL）训练视觉 Web 代理的开放框架。该框架涵盖可扩展的实时浏览器基础设施、多模态上下文管理及高效策略优化。实验表明，仅需少量初始化轨迹和训练任务，OpenWebRL-4B 即在多个基准测试中达到开源最先进水平，性能媲美专有系统。研究还系统分析了关键设计选择及 RL 对代理推理能力的提升作用。