揭示语言模型中的潜在推理策略

针对在推理任务上训练的语言模型，其内部隐含且纠缠了多种 distinct 解题策略的问题，本文研究如何将预训练模型的响应分布分解为结构化的策略条件表示。我们学习一种潜变量因子化方法，包含将输入映射到潜在策略分布的路由器，以及基于该策略生成响应的生成器。为解决后验坍塌问题，提出了一种变分目标，通过测量相对于基础模型响应损失的分数信息增益，鼓励潜变量编码与策略相关的响应变化。实验表明该方法能有效恢复与不同参考策略对齐的潜在代码。