提示级蒸馏：一种用于高效推理的非参数化模型微调替代方案

高级推理通常依赖思维链提示，虽准确但延迟高且推理成本巨大；而微调小模型往往牺牲可解释性并引入资源开销。为此，本文提出提示级蒸馏（PLD），从教师模型中提取显式推理模式，组织为结构化指令注入学生模型的系统提示中。在 StereoSet 和 Contract-NLI 数据集上的实验表明，PLD 使 Gemma-3 4B 模型的 Macro F1 分数显著提升，以极低延迟匹配前沿性能。该方法保持决策过程透明，适用于法律、金融等监管行业及边缘设备场景。