摘要
本文利用训练数据归因作为可解释工具，探究预训练语料中支持社会推理与 STEM 推理的区域。通过计算基于梯度的归因分数，并在多主题分类体系下聚合影响，对比了不同领域和能力类型的基准测试。研究发现，社会推理与 STEM 推理所依赖的语料区域存在质性差异，且这种差异在推理层面比知识层面更为显著。针对性的机器遗忘实验提供了部分因果验证：遗忘高归因主题会显著降低相应基准的表现。
AI 推荐理由
论文核心研究社会推理与 STEM 推理的能力来源及数据归因，直接针对推理机制。
研究机构
Georgia Institute of Technology
College of Computing
Eleuther AI
KAIST
Georgia Tech AI Safety Initiative
论文信息