利用上下文信息改进非正式政治讨论中立场检测的LLM方法

本研究探讨了在非正式在线政治讨论中使用大型语言模型（LLMs）进行立场检测的问题，其中语言往往带有讽刺、歧义和依赖上下文。我们研究了是否提供上下文信息，特别是从历史帖子中提取的用户档案摘要，可以提高分类准确性。通过一个真实的政治论坛数据集，我们生成了结构化的用户档案，总结了用户的意识形态倾向、常见话题和语言模式。我们对七种最先进的LLMs在基线和上下文增强设置下进行了全面的跨模型评估。研究结果表明，上下文提示显著提升了准确率，提升幅度在17.5%到38.5%之间，最高达到74%，优于之前的方法。我们还分析了档案大小和帖子选择策略对性能的影响，发现战略性选择的政治内容比随机选择的更大上下文效果更好。这些发现强调了在复杂的政治分类任务中结合用户级上下文以提高LLM性能的价值。