理解心理状态以指导多人群体对话中的社会影响

现有的动态心智理论（ToM）基准主要将语言模型置于被动角色：模型读取一系列相连的情景，并报告人们随着状态变化所相信、感受、意图和行为。在真实的社交互动中，ToM也被用于行动：说话者计划要说的话，以引导他人的心理状态轨迹朝向目标。我们引入了SocialMindChange基准，从追踪心理状态转向改变心理状态。每个实例定义了一个包含4个角色和五个相连场景的社会情境。模型扮演其中一个角色，在五个场景中生成对话以达成目标，同时保持与所有参与者的心理状态演变一致。SocialMindChange还包含一些高阶心理状态。通过结构化的四步框架，我们构建了1200个社会情境，涵盖6000个场景和超过90000个问题，每个问题都经过真实性和质量验证。对十个最先进的LLMs进行评估显示，它们的平均表现比人类低54.2%。这一差距表明，当前的LLMs仍难以在长且关联的交互中维持和改变心理状态表示。