摘要
本文研究基于LLM的多智能体系统在空间合作游戏中的训练。针对小型冻结LLM直接执行低级动作效果不佳的问题,我们引入选项/半马尔可夫决策过程框架,为每个游戏构建由符号规划器执行的符号“选项”库。这些选项库由前沿编码模型从源代码生成,并通过随机策略 rollout 机械合成可行性守卫。每个智能体的LLM作为其策略,通过PA-MAGRPO算法训练私有LoRA适配器。实验表明,该方法使小型基础模型在三个游戏中表现显著提升。行为审计揭示奖励与合作的解耦现象,强调行为评估的重要性。
AI 推荐理由
论文核心在于通过符号选项库和规划器构建分层策略,解决多智能体在空间任务中的规划与协作问题。
研究机构
Department of Computer Science and Engineering, The Ohio State University
论文信息