所有泄露都重要，有些更重要：LLM回测中的可解释性时间污染检测

为了评估LLM是否能准确预测未来事件，需要在已解决的事件上进行回测。这要求模型仅使用指定过去日期前的信息进行推理。然而，LLM可能在训练过程中无意中泄露了截止日期后的时间信息，从而影响回顾性评估的有效性。本文提出了一种基于声明级别的框架，用于检测和量化这种时间知识泄露。该方法将模型的推理分解为原子声明，并根据其时间可验证性进行分类，然后应用Shapley值衡量每个声明对预测的贡献，从而得到一个可解释的指标——Shapley-DCLR，用于衡量决策驱动推理中有多少来源于泄露信息。在此基础上，本文提出了TimeSPEC方法，通过生成与声明验证和再生的交替过程，主动过滤时间污染，确保所有支持性声明均可追溯至截止日期前的来源。实验结果表明，标准提示基线存在显著泄露，而TimeSPEC在保持任务性能的同时降低了Shapley-DCLR，证明显式的声明级验证优于基于提示的时间约束。