VIRAASAT：探索印度文化推理的新路径

大型语言模型（LLMs）在数学和编程等领域的推理任务中取得了显著进展，但在需要丰富社会文化知识和多样本地背景的任务中表现不佳，尤其是涉及印度文化时。现有文化基准存在手动构建、仅测试事实记忆以及扩展成本高昂等问题。为此，本文提出VIRAASAT，一种半自动化的多跳方法，用于生成针对印度文化的多跳问答数据集。该方法利用包含700多个专家整理的文化实体的知识图谱，涵盖印度文化的13个关键属性，并覆盖28个州和8个联邦属地，生成超过3,200个需要链式文化推理的问题。实验表明，当前最先进的LLMs在该数据集上存在推理局限，尤其在基于思维链（CoT）的微调中难以处理低概率事实。为此，本文提出符号化操作链（SCoM）框架，使模型能够模拟内部知识图谱的操作，从而更可靠地遍历图结构。实验显示，SCoM在监督微调任务中优于标准CoT基线最多20%。