Agentic RL Tool Use World Model Reinforcement Learning
摘要

针对长程工具使用中真实或合成环境构建成本高昂的问题,本文提出EnvACE方法,利用“世界预演”替代外部交互进行训练。策略在动作与预演间交替:生成工具调用后,模型扮演环境生成响应,并基于此优化后续决策。该方法端到端联合优化角色,使策略内化行动与响应的关系,形成支持决策的世界模型。在多个基准测试中表现优异,且在测试时可通过私有预演进一步提升性能,为突破外部环境限制提供了新路径。

AI 推荐理由

论文聚焦于LLM Agent的工具使用(tool use)训练,通过世界预演强化技能学习,直接解决工具调用与环境交互问题。

研究机构
上海交通大学 浙江大学 中山大学 中南大学 新加坡国立大学 腾讯公司 香港中文大学
论文信息
作者 Zishan Xu, Zhiyuan Yao, Yuxin Chen, Yifu Guo, Zhengxi Lu et al.
发布日期 2026-08-06
arXiv ID 2608.06197
相关性评分 9/10 (高度相关)