abductive reasoning active learning LLM evaluation multi-turn interaction
摘要

溯因推理要求基于观察到的证据形成假设,并在新证据出现时进行修正。尽管大语言模型(LLMs)常被评估是否能正确解决溯因推理任务,但关于它们如何获取证据、更新假设以及决定何时停止的研究尚少。本文引入“外星人绑架”游戏作为交互式探针,在不同交互模式下研究这些行为。研究发现,预先提供证据比分轮次提供更能提高成功率;在多轮设置中,部分模型在未充分利用可用证据前就过早做出结论,而另一些则耗尽回合数仍未收敛。此外,当由预言机提供示例而非模型自行选择查询时,成功率更高,但最终假设与自选证据的一致性更强。这表明模型可能形成了仅拟合自选证据的假设,且难以有效验证和 refine 假设或确定停止时机。

AI 推荐理由

论文直接研究溯因推理中的假设形成与证据获取,属于核心推理能力评估。

研究机构
Computational Linguistics, Department of Linguistics, University of Potsdam, Germany German Research Center for Artificial Intelligence (DFKI), Berlin, Germany
论文信息
作者 Shahrukh Mohiuddin, Chalamalasetti Kranti, Sherzod Hakimov, David Schlangen
发布日期 2026-08-04
arXiv ID 2608.03388
相关性评分 9/10 (高度相关)