摘要
本文提出 InvestPhilBench,一个涵盖八个认知层级的多层动态基准,旨在评估大语言模型重构和应用专家投资决策框架的能力。该基准包含验证过的原则卡、决策框架卡及问答测试集,并引入自动化评分管道(BASP)和失败模式检测协议。实验发现,虽然综合评分在前沿模型上趋于饱和,但细粒度的程序重建准确率仍暴露了显著的推理缺陷,表明现有评分机制可能掩盖了模型在程序性推理上的不足。
AI 推荐理由
论文核心评估 LLM 的程序性推理能力,提出多层基准和度量方法。
研究机构
中国
论文信息