真理还是诡辩？LoFa：一个评估大语言模型抵抗逻辑谬误鲁棒性的基准

大语言模型虽具备强大的语义能力，但其对逻辑谬误等操纵性语言模式的抵抗力尚未经充分探索。现有研究多集中于谬误的识别与分类，缺乏对谬误劝说鲁棒性的深入考察。为此，本文提出 LoFa 基准，通过多智能体流水线构建包含事实问题与谬误论证的数据集，并引入多轮辩论框架以评估模型在持续对抗性劝说下的韧性。此外，文章提出了 LFR@k 指标，旨在剥离模型固有知识局限，量化其对谬误攻击的抵抗能力。实验揭示了不同模型在面对各类谬误时的脆弱性差异。