摘要
尽管大型语言模型（LLMs）经过广泛的互联网语料预训练，但它们在适应特定领域时仍面临挑战。虽然现有方法如重述或知识提取能够提高事实记忆和概念理解，但它们在解释性推理方面支持有限，并且生成的合成数据冗余度高、样本效率低。为此，本文提出了一种对抗性问题生成框架，通过比较待调整模型与基于参考文档的稳健专家模型的输出，迭代生成具有挑战性的语义问题，以揭示并弥补理解差距。实验表明，该方法在LegalBench语料库的特定子集上，使用更少的合成样本即可实现更高的准确性。
AI 推荐理由
论文聚焦于提升LLM在特定领域的推理能力，通过对抗性问题生成框架增强模型的解释性推理。
研究机构
AXA Group Operations
TRAIL, Sorbonne Université
France
1ERIA, Université d'Angers
Stanford University
Polish Academy of Science
IBS PAN
Warsaw, Poland
论文信息