摘要
大型语言模型(LLM)的文本分布可视为不确定性的概率表示。现有工作多利用此特性进行解码或选择性预测,且常需人工干预。本文提出信念增强生成(BAG)方法,通过提示将 LLM 锚定于其自身的信念状态(即 K 个采样响应),使其能据此推理并制定对话策略:直接回答、请求澄清或选择回避。在多轮模糊问答实验中,BAG 显著提升了六个模型的问答准确率,其策略决策比仅靠提示的基线更忠实于信念状态。然而,区分何时澄清与何时回避仍具挑战性。
AI 推荐理由
论文核心在于让 LLM 基于采样信念状态进行推理,以决定对话策略,属于元认知推理范畴。
研究机构
University of Amsterdam
MCML, Munich
LMU Munich
论文信息