摘要
现有的搜索增强型LLM智能体通常利用强化学习提升推理能力,但主要依赖结果级奖励,缺乏对搜索行为的细粒度监督,且忽视了智能体正确分解复杂查询的能力。为此,我们提出了PROGRESS方法,利用教师引导的覆盖率奖励来显式塑造策略模型的分解查询生成过程。在训练中,冻结的教师模型将复杂查询分解为关键搜索查询,以此指导策略模型的搜索行为。该方法集成于R1风格的训练框架中,在不进行密集过程级监督的情况下,为查询分解决策提供轻量级指导。实验表明,覆盖率引导的强化学习提升了整体任务性能,突显了在代理式LLM中显式监督搜索策略的重要性。
AI 推荐理由
论文核心聚焦于Agent的任务分解与搜索策略规划,通过覆盖引导强化学习显式监督查询分解决策。
研究机构
AI Center-Mountain View, Samsung Electronics
论文信息