CRPO：面向角色扮演代理角色感知推理的以角色为中心的组相对策略优化

近期强化学习（特别是组相对策略优化 GRPO）显著提升了大语言模型的推理能力。然而，将此类以问题为中心的优化方法应用于角色扮演代理时，常因优先考虑上下文效用而忽视角色对齐，导致角色保真度丧失和风格坍塌。为此，本文提出以角色为中心的组相对策略优化（CRPO），旨在重构强化学习目标以适配角色扮演任务。CRPO 通过三种机制提升角色独特性：解耦任务逻辑与风格奖励以解决梯度冲突；基于角色复杂度动态调整优化约束；利用通用回复作为负基线以防止模型回归普通分布。实验表明，CRPO 在一致性、情感表达等方面优于现有方法。