摘要
化学推理语言模型期望通过忠实的思维链(CoT)推导分子答案。然而研究发现,在多种模型和任务中,幻觉普遍存在且与答案正确性脱节:正确答案常伴随虚构的结构描述。归因分析表明,CoT 充当了特定形式的“分子草稿纸”功能(如碎片化 SMILES 草稿或骨架线索)。扰动实验证实,即使口头描述失真,这些结构性草稿仍对生成结果具有因果支撑作用。这表明化学 CoT 既非忠实解释也非事后合理化,而是易产生幻觉的计算工具,提示需超越仅评估答案的过程级监督。
AI 推荐理由
核心研究化学领域思维链(CoT)的幻觉机制与计算功能,深入分析推理过程。
研究机构
1 Blue Whale Lab, National University of Singapore
2 Hong Kong Polytechnic University
3 Fudan University
论文信息