LLM Evaluation Reasoning vs Memorization Chinese Xiehouyu Data Contamination
摘要

本文通过语言学专家创作的全新歇后语测试大语言模型的推理边界,以规避数据污染。研究采用多项选择、自由解释及新歇后语创作三种方式评估模型能力。结果显示,前沿中文模型因训练数据量大而表现出显著的记忆依赖(准确率差异达 23.6%),而 Gemini 3.1 Pro 在新颖歇后语理解上超越人类,但在创作能力上仍逊于人类专家。结果表明,需重新审视关于大模型推理能力的宣称,其在语言创造性任务上仍落后于人类。

AI 推荐理由

论文核心探讨 LLM 在歇后语任务中是依赖推理还是记忆,直接评估推理能力边界。

研究机构
The Hong Kong Polytechnic University The University of Texas at Austin Shanghai Jiao Tong University
论文信息
作者 Hai Hu, Siyuan Song, Chongtian Shao, Kejia Zhang, Tianjian Zhu et al.
发布日期 2026-07-26
arXiv ID 2607.23440
相关性评分 9/10 (高度相关)