摘要
针对现有大语言模型心智理论(ToM)评估易受训练数据污染且缺乏泛化性的问题,本文提出认知不对称谢林任务(EAST)。该任务通过双人对话游戏,要求模型在不同认知透明度状态下独立收敛于语义谢林点,以评估其功能性社会推理与协调能力。结果显示,仅前沿模型能应对多变的认知需求,主要失败源于混淆私有知识与共同知识的认知追踪错误。研究表明,稳健的社会推理仍是关键瓶颈。
AI 推荐理由
论文核心研究 LLM 的心智理论与社会推理能力,通过新基准评估其认知追踪与逻辑协调机制。
研究机构
Google, Paradigms of Intelligence Team
论文信息