多任务代理强化学习的熵配速策略优化

近期强化学习在复杂代理大模型任务中展现潜力，但现有研究多聚焦单任务场景，而实际部署需能同时解决多任务的通用代理。本文发现多任务代理强化学习中存在探索 - 利用节奏不匹配现象：简单任务过早收敛阻碍难任务学习，反之亦然，导致熵交叉与波动。受此启发，我们提出熵配速策略优化（EPPO），通过任务级动态裁剪机制协调跨任务熵值，替代固定阈值，自适应调整更新幅度以稳定多任务优化。实验表明 EPPO 在多任务基准上优于现有方法。