UnityMAS-O：面向基于 LLM 的多智能体系统的通用强化学习优化框架

针对现有基于大语言模型的多智能体系统依赖人工编排且缺乏统一强化学习优化的问题，本文提出 UnityMAS-O 框架。该框架将完整工作流作为优化单元，通过逻辑角色、图轨迹、自定义奖励及模型映射解耦智能体与参数，支持灵活的参数共享与多层级奖励分配。基于 Ray 架构实现分布式 PPO 更新，无需重写基础设施即可定义复杂工作流。实验表明，该方法在问答、搜索及代码生成任务中显著提升了多智能体系统的性能，尤其增强了小模型的适应能力。