摘要
可靠的金融推理不仅关乎如何作答,更在于识别何时无法正当化答案。现实金融问题常依赖未明示的隐含假设,导致问题看似可解实则信息不足。本文提出 REALFIN,一个双语基准测试,通过系统移除考题中的关键前提但保持语言通顺,以评估金融推理能力。研究在三种设定下评测模型:直接作答、识别缺失信息及拒绝无理选项。结果显示,关键条件缺失时模型性能显著下降:通用模型倾向于过度承诺并猜测,而多数金融专用模型未能清晰识别缺失前提。这揭示了当前评估的关键缺口,表明可靠金融模型必须知晓何时不应作答。
AI 推荐理由
论文核心评估 LLM 在信息缺失下的金融推理能力,聚焦识别隐含假设与拒绝无理答案的推理机制。
研究机构
INSAIT
纽卡斯尔大学
论文信息