用于训练多样化常识推理模型的合成数据生成

对话代理不仅需生成高质量的常识性回复，还需考虑多种合理替代场景以体现多样性。然而，缺乏大规模高质量多样化常识训练数据集严重阻碍了该领域进展。现有数据集因标注成本高而规模小、场景窄。为此，本文提出两阶段方法构建首个多样化生成式常识推理合成数据集 CommonSyn。实验表明，基于该数据微调的模型在不同规模大语言模型上，其生成多样性与质量均优于基线及人工数据集微调模型。