摘要
近期研究表明,大语言模型可通过将生成样本及其评估分数作为上下文示例来迭代优化输出。本文揭示了评分条件的上下文学习与策略梯度优化之间的结构对应关系。我们证明了在特定权重配置下,自注意力机制可实现类似 REINFORCE 算法的奖励加权聚合,并推导了注意力更新引起的分布移位上界,类比于 KL 约束的策略优化。实验验证了模型利用分数信息将输出分布向高分示例偏移的有效性,且注意力权重与示例分数高度相关。
AI 推荐理由
论文揭示 ICL 通过评分反馈迭代优化输出,本质是策略梯度驱动的自我改进机制。
研究机构
MBZUAI
论文信息