LLM 潜在空间中用于逐步推理的因果概念图

稀疏自编码器可定位语言模型中的概念，但无法揭示其在多步推理中的交互方式。本文提出因果概念图（CCG），这是一种基于稀疏可解释潜在特征的有向无环图，其边捕捉概念间的学习因果依赖。结合任务条件稀疏自编码器与 DAGMA 风格的可微结构学习，并引入因果保真度评分（CFS）评估干预效果。实验表明，CCG 在多个推理基准上显著优于现有方法，生成的图具有稀疏性、领域特异性及稳定性。