Benchmark Procedural Reasoning Evaluation Investment Domain
摘要

本文提出 InvestPhilBench,一个涵盖八个认知层级的多层动态基准,旨在评估大语言模型重构和应用专家投资决策框架的能力。该基准包含验证过的原则卡、决策框架卡及问答测试集,并引入自动化评分管道(BASP)和失败模式检测协议。实验发现,虽然综合评分在前沿模型上趋于饱和,但细粒度的程序重建准确率仍暴露了显著的推理缺陷,表明现有评分机制可能掩盖了模型在程序性推理上的不足。

AI 推荐理由

论文核心评估 LLM 的程序性推理能力,提出多层基准和度量方法。

研究机构
中国
论文信息
作者 Mingguang Chen, Bo Qu
发布日期 2026-06-24
arXiv ID 2606.25984
相关性评分 9/10 (高度相关)