语言模型难以利用上下文中学习到的表示

尽管大型语言模型（LLMs）在各种任务中取得了显著成功，但它们在适应全新部署环境方面仍存在不足。本研究旨在探讨LLMs是否能够利用从上下文中学习到的表示来完成下游任务。通过评估开放权重的LLMs在下一个标记预测和自适应世界建模任务中的表现，发现即使这些模型能够编码上下文语义，也难以灵活地部署这些表示。此外，对封闭源代码的最先进推理模型进行测试，结果表明即使是性能最佳的LLMs也无法可靠地利用上下文中提供的新模式。该研究旨在启发新的方法，使模型不仅能够编码上下文信息，还能以支持灵活部署的方式进行编码。