摘要
技能记忆可通过复用过往经验提升智能体强化学习,但检索到的技能并非绝对可靠,可能在特定状态下产生误导。本文提出 UCOB 框架,通过信用感知的在线策略双向自蒸馏来学习与进化智能体技能。该方法将带技能与无技能提示视为同一模型的两种上下文视角,比较其在相同任务状态下的预期回报,以高回报视角作为局部教师信号。此举不仅内化了有益的技能行为,修正了误导性使用,还指导了技能记忆的更新与反思训练。实验表明,UCOB 在多个基准测试中显著优于现有方法。
AI 推荐理由
论文核心研究智能体技能的学习、利用与进化机制,提出新框架解决技能误导问题。
研究机构
Institute of Automation, Chinese Academy of Sciences
论文信息