摘要
图表广泛用于支持逻辑推理,先前研究表明欧拉图等表示形式可提升人类推理表现。近期研究亦探讨了其对大型语言模型(LLM)的影响。本文比较了四种三段论推理表示条件:自然语言、逻辑符号、线性图表和欧拉图表。利用 Ando 等人(2024)的 285 个问题,评估了 Claude 3.5 Sonnet 和 GPT-4o-mini 两款主流模型。结果显示,图表表示并未一致提升模型性能。尽管模型在蕴含和矛盾问题上表现良好,但在中性问题上表现挣扎,且常犯系统性转换错误。总体而言,被测模型在逻辑推理任务中从图表获得的收益有限。
AI 推荐理由
论文核心研究图表表示对 LLM 三段论逻辑推理能力的影响,直接评估推理性能。
研究机构
Keio University, 2-15-45 Mita, Minato-ku, Tokyo 108-8345, Japan
论文信息