摘要
近期关于大语言模型可提取记忆的研究存在有效性争议：部分研究因序列过短混淆记忆与预测性，另一些则忽视非训练数据复现的可能性。本文提出，有效的记忆主张需通过匹配对比，即比较训练序列与可比非训练序列的生成概率。我们形式化了两种匹配对比方法：针对群体采样的共形检验和针对单文档的普查法。实验表明，该方法能校准记忆阈值，揭示先前研究的假阳性问题，并重新定义“可提取记忆”需在现实预算下具备有效主张及高确定性生成。
AI 推荐理由
论文提出从第一性原理定义可提取记忆，建立严格验证框架，核心解决记忆机制的有效性问题。
研究机构
Yale, AVEH, Stanford
Google Research
Google DeepMind
Cornell
Stanford
论文信息