基于神经心理学基础的 LLM 认知能力评估

大型语言模型在多项基准测试中表现出统一的“通用因子”能力，但在人类看来简单的任务上仍表现不佳。这是因为现有基准侧重于任务完成，未能探测揭示这些行为的基础认知能力。本文提出 NeuroCognition 基准，基于三项改编的神经心理学测试：瑞文渐进矩阵（抽象关系推理）、空间工作记忆（维持与系统搜索）和威斯康星卡片分类测试（认知灵活性）。评估显示，模型在文本上表现强劲，但在图像及复杂度增加时性能下降。研究发现复杂推理并非普遍有益，而简单类人策略可带来部分增益。该基准与通用能力基准正相关，同时测量了独特的认知能力，揭示了 LLM 与类人智能的异同。