logical reasoning multilingual evaluation robustness Chinese NLP
摘要

大型语言模型在标准逻辑推理基准上表现优异,但其能力在非英语语境下的鲁棒性尚不明确。本文提出 ChLogic,一个英中对齐基准,旨在测试模型在面对相同潜在逻辑结构但不同中文表面实现时,能否保持推理性能。该基准包含通用对齐、困难对齐及纯中文三个数据集。实验显示存在显著的英中性能差距,回译策略效果不一。结果表明,中文表面实现、翻译伪影及模型特性共同影响多语言逻辑推理的鲁棒性。

AI 推荐理由

论文核心评估多语言环境下逻辑推理的鲁棒性,直接针对推理能力。

研究机构
College of Mathematics, Sichuan University, China Theory Lab, 2012 Labs, Huawei Technologies Co., Ltd.
论文信息
作者 Peixian Zhou, Yuxu Chen, Chaorui Zhang, Wei Han, Bo Bai et al.
发布日期 2026-06-16
arXiv ID 2606.17905
相关性评分 9/10 (高度相关)