将大语言模型推理蒸馏为概念预测器图

部署大语言模型常受限于延迟与成本。现有主动蒸馏方法多仅提取最终标签，丢弃了中间推理信号。本文提出概念预测器图（GCP），一种感知推理的主动蒸馏框架，将有向无环图形式的教师决策过程映射为学生端的模块化概念预测器。该方法通过图感知的采集策略针对关键推理节点的不确定性进行采样，并利用定向子模块重训练提升效率。实验表明，GCP 在有限标注预算下提升了性能，并增强了训练的可解释性与可控性。