摘要
多步符号推理对稳健的金融分析至关重要,但现有基准常忽视中间推理步骤。本文提出 RusFinChain,这是首个针对俄语金融领域的可验证思维链(CoT)符号基准。该基准涵盖 17 个领域、172 个主题,包含 5280 个由可执行 Python 模板生成的参数化示例,确保评估无污染。每个样本均提供含中间数值的标准推理链以支持自动验证。此外,文章引入了“模糊数值对齐”和“软注意力对齐”等增强指标。实验评估了 8 个开源大模型,结果显示最终答案正确率仅为 29%,而新提出的指标与正确答案的相关性显著优于原有方法,展现了更强的诊断能力。
AI 推荐理由
论文核心构建金融领域可验证思维链基准,专注多步符号推理与中间步骤评估。
研究机构
喀山联邦大学
计算数学与信息技术研究所
数据分析系
论文信息