类比推理 跨文化评估 基准构建 多语言 LLM
摘要

多语言推理评估过度依赖翻译英语基准,这引入了语言伪影且无法测试基于文化的推理。本文提出 ADAGE,这是一种与语言无关的流程,结合母语者策划与大模型辅助生成,构建具有挑战性的无翻译抽象类比推理基准。通过在阿拉伯语、阿姆哈拉语和日语上构建基准并评估 14 个开源模型,研究发现显著的文化推理差距:在英语谚语推理中表现良好的模型,在所有三个原生基准上的准确率相对英语下降了 12 至 52 个百分点。

AI 推荐理由

论文核心聚焦于评估 LLM 的抽象类比推理能力,揭示文化差异导致的推理差距。

研究机构
Haverford College
论文信息
作者 Ahmed Haj Ahmed, Alvin Grissom
发布日期 2026-07-25
arXiv ID 2607.23058
相关性评分 9/10 (高度相关)