摘要
大型语言模型在标准逻辑推理基准上表现优异,但其能力在非英语语境下的鲁棒性尚不明确。本文提出 ChLogic,一个英中对齐基准,旨在测试模型在面对相同潜在逻辑结构但不同中文表面实现时,能否保持推理性能。该基准包含通用对齐、困难对齐及纯中文三个数据集。实验显示存在显著的英中性能差距,回译策略效果不一。结果表明,中文表面实现、翻译伪影及模型特性共同影响多语言逻辑推理的鲁棒性。
AI 推荐理由
论文核心评估多语言环境下逻辑推理的鲁棒性,直接针对推理能力。
研究机构
College of Mathematics, Sichuan University, China
Theory Lab, 2012 Labs, Huawei Technologies Co., Ltd.
论文信息