摘要
本文推出 CreditCardQA,这是首个基于真实信用卡协议构建的金融素养数值推理基准数据集,包含 1800 个反映消费者自然提问的问题。研究评估了多种大语言模型在思维链(CoT)和思维程序(PoT)提示下的表现。结果显示,PoT 能显著提升性能,尤其缩小了开源与闭源模型的差距。误差分析表明,失败主要源于金融规则误用、条件遗漏及条款误解,而非算术错误。此外,比较逻辑、条件判断及边缘案例是主要难点。
AI 推荐理由
论文核心评估 LLM 在金融场景下的数值与逻辑推理能力,深入分析错误根源。
研究机构
佐治亚理工学院计算与谢尔特商学院
论文信息