摘要
针对现有生产级 LLM 代理依赖昂贵代码搜索或不可审计自修改代码的问题,本文提出一种受限控制方法。该方法将代理框架视为固定动作空间,利用样本高效的强化学习(如上下文 bandit 和 REINFORCE)在线学习策略,以优化多目标奖励。实验在工具使用、代码生成及多跳检索问答领域验证了该系统的有效性,并开源了相关代码、数据集及部署方案,实现了黑盒模型下的领域自适应。
AI 推荐理由
论文核心在于通过强化学习在线优化冻结模型的提示与工具策略,实现代理在特定领域的自适应学习与改进。
论文信息