语言模型中的伪深思：当推理无法对齐价值观与行动时

大型语言模型常基于其陈述的价值观进行评估，但这些价值观往往无法可靠地转化为实际行动，这种现象被称为“价值 - 行动差距”。本文指出，即使在显式推理下，该差距依然存在，揭示了一种更深层的失效模式——“伪深思”，即表现出原则性推理却缺乏相应的行为对齐。为此，我们提出了 VALDI 框架，用于量化陈述价值观与生成对话之间的一致性。该框架涵盖五个领域的 4941 个以人为本的场景，包含激发价值观阐述、推理和行动的三项任务，以及五项衡量价值观遵循程度的指标。实验显示，各类模型均存在显著的价值错位。此外，我们提出了 VIVALDI，一种多智能体价值观审计器，旨在通过在生成不同阶段进行干预来解决这一问题。