financial reasoning benchmark Chain-of-Thought Program-of-Thought error analysis
摘要

本文推出 CreditCardQA,这是首个基于真实信用卡协议构建的金融素养数值推理基准数据集,包含 1800 个反映消费者自然提问的问题。研究评估了多种大语言模型在思维链(CoT)和思维程序(PoT)提示下的表现。结果显示,PoT 能显著提升性能,尤其缩小了开源与闭源模型的差距。误差分析表明,失败主要源于金融规则误用、条件遗漏及条款误解,而非算术错误。此外,比较逻辑、条件判断及边缘案例是主要难点。

AI 推荐理由

论文核心评估 LLM 在金融场景下的数值与逻辑推理能力,深入分析错误根源。

研究机构
佐治亚理工学院计算与谢尔特商学院
论文信息
作者 Arnav Hiray, Agam Shah, Caleb Lu, Meghaj Tarte, Harsit Mittal et al.
发布日期 2026-07-29
arXiv ID 2607.26952
相关性评分 9/10 (高度相关)