Theory of Mind Robustness Reinforcement Learning LLM Evaluation
摘要

大型语言模型(LLMs)在心智理论(ToM)测试中表现出强劲性能,引发了关于其底层能力性质和有效性的争论。与此同时,通过可验证奖励强化学习训练的推理导向型LLMs在各种基准测试中取得了显著进步。本研究利用机器心理学实验的新变体和既定基准结果,考察了此类推理模型在ToM任务中的行为。我们观察到,推理模型对提示变化和任务扰动表现出一致的鲁棒性增强。分析表明,这些增益部分源于模型在提示和任务变化下更稳健地得出正确答案。我们将此解读为基于鲁棒性的解释,而非新的特定于ToM的能力证据。

AI 推荐理由

论文核心探讨推理模型在ToM任务中的表现,分析其鲁棒性源于推理能力而非特定心智理论技能。

研究机构
LIACS, Leiden University, The Netherlands
论文信息
作者 Ian B. de Haan, Peter van der Putten, Max van Duijn
发布日期 2026-08-05
arXiv ID 2608.04646
相关性评分 9/10 (高度相关)