通过基于心理学的推理与角色感知策略优化提升通用角色扮演智能体

构建通用角色扮演智能体面临挑战，现有监督微调仅模仿行为而缺乏深层内部思考。为此，本文提出 Psy-CoT，一种基于心理学的思维链框架，将响应前推理分解为交互感知、心理共情和逻辑构建三步，使模型能动态思考而非表面模仿。针对强化学习中奖励模型被通用短语欺骗的问题，提出角色感知策略优化（RAPO），利用轮廓 - 令牌互信息不对称加权梯度。实验表明，Psy-CoT 优于现有方法，RAPO 在多种模型规模下均超越 GRPO。