摘要
因果发现是科学推理的基石,但大语言模型(LLM)在此任务上的可靠性尚存疑问。本文证明了 LLM 的失败是根本性的:现有学习方法无法区分生成相似观测数据的因果图。为此,作者提出“代理因果贝叶斯优化”(A-CBO),利用冻结的 LLM 作为干预预言机,结合外部贝叶斯循环在候选图空间中集中信念。该方法在理论上可证明收敛,且在无需训练的情况下,在新基准测试中显著优于微调及偏好优化基线。
AI 推荐理由
论文核心探讨 LLM 在因果推理中的根本局限,并提出基于干预的 Agent 方案以解决该推理难题。
研究机构
SIRE, IIT Delhi and Robert Bosch GmbH, India
Imperial College London
论文信息