摘要
随着大型语言模型(LLM)智能体越来越多地利用可复用的过程性知识(即技能),虽然技能检索能力显著提升,但检索到合理的技能组合并不保证执行具有价值。鉴于每次技能条件 rollout 计算成本高昂,决定是否执行检索到的技能包成为关键挑战。本文提出奖励感知动态执行门控(RADEG),这是一个轻量级、与检索器无关的决策层,位于技能检索与智能体执行之间。RADEG 学习一个低成本代理模型,在启动昂贵的 rollout 之前预测查询-技能包对的执行效用。通过局部扰动检索到的技能包以生成匹配的相同查询 rollout,从而隔离技能组成对验证器奖励的影响。部署时,RADEG 仅更新预热逻辑头,实现执行/跳过边界的低成本适应。实验表明,RADEG 在保留大部分下游验证器奖励的同时,显著减少了不必要的智能体执行,优于基于相关性和随机门控的方法。
AI 推荐理由
论文核心解决基于技能的LLM Agent在执行前的效用评估与门控问题,直接优化技能执行流程。
研究机构
同济大学
悉尼大学
中国科学技术大学
南开大学
约翰霍普金斯大学
香港城市大学
萨里大学
论文信息