大语言模型在法律领域推理中的神经元级分析

本文对七种开源权重模型进行了法律领域推理的神经元级分析，并与其他应用领域的任务进行了比较。利用神经元归因评分对关键神经元进行排序和抑制，实验证实抑制这些特定神经元会导致目标任务准确率崩溃，而抑制同等数量的随机神经元则无此影响。研究发现了一小部分在所有任务中均具影响力的神经元子集；移除它们后，进一步抑制仅会削弱其被识别出的特定任务性能，揭示了各模型中真正存在的任务特异性神经元。在法律领域内，三个基准测试显示出较高的神经元重叠度，表明存在跨越司法管辖区的法律组件神经元。此外，实验结果表明，关于影响力神经元集中于中间 MLP 层的假设可能取决于输入格式和内容，而非普遍现象。