STAPO：用于大语言模型智能体训练的Selective Trajectory-Aware策略优化

强化学习是训练大语言模型智能体执行长程任务的主流范式，但稀疏延迟奖励常导致“轨迹忽视”，使智能体在中间步骤偏离目标。针对现有基于香农熵的方法混淆状态复杂性与置信度的问题，本文提出归一化熵以量化相对置信偏差。据此，我们设计了分层分组强化学习框架 STAPO，利用归一化熵定位异常步骤，并通过轨迹感知奖励与独立惩罚的联合机制进行优化。实验表明，STAPO 在多个基准上达到最先进水平，显著缓解了轨迹忽视问题。