摘要
金融研究答案仅在可审计其生成过程(如来源选择、假设设定及计算步骤)时才具备决策价值。现有基准多评估孤立技能或最终答案,忽视了可审计的推导过程。本文提出 BigFinanceBench,这是一个包含 928 个专家编写任务的基准,将推导过程分解为独立可查的步骤并赋予权重。该基准基于完整工作流进行评估,支持部分得分及失败定位。对十个前沿代理的评估显示,最佳系统仅得 58.8%,且最终答案准确性不能完全代表推导质量。
AI 推荐理由
论文评估金融研究代理的工作流分解与多步推导能力,核心在于任务规划与步骤执行。
研究机构
Rogo
OpenAI
论文信息