摘要
大型语言模型正转向通过多样接口解决任务的代理,其中终端命令行涵盖系统操作至数据科学等广泛任务。然而,终端代理训练面临缺乏自然监督数据及可扩展环境的挑战。本文提出 SETA,一个用于生成可验证终端强化学习环境的可扩展框架。该框架包含两条流水线:SETA-Synth 将多源数据转化为标准环境,SETA-Evol 通过自适应控制难度与多样性扩展现有环境。基于此构建了包含超 4500 个环境的开源数据集 SETA-Env。实验表明,在该数据集上训练的模型在 Terminal-Bench 2.0 上取得了同规模最佳结果,显著提升了终端代理的工具使用能力。
AI 推荐理由
论文核心在于构建终端代理的训练环境与数据集,直接提升 Agent 使用命令行工具的技能。
研究机构
CAMEL-AI.org
Imperial College London
University College London
SambaNova
KAUST
RadixArk
University of Nottingham
论文信息