摘要
多语言推理评估过度依赖翻译英语基准,这引入了语言伪影且无法测试基于文化的推理。本文提出 ADAGE,这是一种与语言无关的流程,结合母语者策划与大模型辅助生成,构建具有挑战性的无翻译抽象类比推理基准。通过在阿拉伯语、阿姆哈拉语和日语上构建基准并评估 14 个开源模型,研究发现显著的文化推理差距:在英语谚语推理中表现良好的模型,在所有三个原生基准上的准确率相对英语下降了 12 至 52 个百分点。
AI 推荐理由
论文核心聚焦于评估 LLM 的抽象类比推理能力,揭示文化差异导致的推理差距。
研究机构
Haverford College
论文信息