摘要
溯因推理要求基于观察到的证据形成假设,并在新证据出现时进行修正。尽管大语言模型(LLMs)常被评估是否能正确解决溯因推理任务,但关于它们如何获取证据、更新假设以及决定何时停止的研究尚少。本文引入“外星人绑架”游戏作为交互式探针,在不同交互模式下研究这些行为。研究发现,预先提供证据比分轮次提供更能提高成功率;在多轮设置中,部分模型在未充分利用可用证据前就过早做出结论,而另一些则耗尽回合数仍未收敛。此外,当由预言机提供示例而非模型自行选择查询时,成功率更高,但最终假设与自选证据的一致性更强。这表明模型可能形成了仅拟合自选证据的假设,且难以有效验证和 refine 假设或确定停止时机。
AI 推荐理由
论文直接研究溯因推理中的假设形成与证据获取,属于核心推理能力评估。
研究机构
Computational Linguistics, Department of Linguistics, University of Potsdam, Germany
German Research Center for Artificial Intelligence (DFKI), Berlin, Germany
论文信息