利用离线强化学习掌握 LLM Agent 的控制机制

本文提出将 LLM Agent 的执行框架（harness）视为可学习的控制层，而非固定基础设施。作者将其形式化为有限时域 MDP，训练轻量级控制器在冻结 LLM 的情况下选择结构化执行动作。该方法利用离线轨迹和优势加权回归进行训练，并引入“框架成熟度分数”以区分最终任务质量与执行模式的可靠性。实验表明， learned 控制器在多个领域显著提升了验证行为及任务质量，证明了执行控制层的可学习性及其对最终性能的贡献。