摘要
本文通过语言学专家创作的全新歇后语测试大语言模型的推理边界,以规避数据污染。研究采用多项选择、自由解释及新歇后语创作三种方式评估模型能力。结果显示,前沿中文模型因训练数据量大而表现出显著的记忆依赖(准确率差异达 23.6%),而 Gemini 3.1 Pro 在新颖歇后语理解上超越人类,但在创作能力上仍逊于人类专家。结果表明,需重新审视关于大模型推理能力的宣称,其在语言创造性任务上仍落后于人类。
AI 推荐理由
论文核心探讨 LLM 在歇后语任务中是依赖推理还是记忆,直接评估推理能力边界。
研究机构
The Hong Kong Polytechnic University
The University of Texas at Austin
Shanghai Jiao Tong University
论文信息