是时候反思了：我们能信任用于基于证据的研究型 Agent 的 LLM 评判者吗？

深度研究 Agent 通过多步推理和工具使用自动化复杂任务，其可靠性评估亟需可扩展方案，LLM 作为评判者成为关键范式。然而，这些评判者在开放型 Agent 执行中的可靠性尚不明确。本文提出 REFLECT 基准，通过受控干预生成细粒度故障实例，系统评估 LLM 评判者在推理、工具使用及报告质量上的表现。实验表明当前模型准确率不足 55%，尤其在证据验证方面表现糟糕，揭示了系统性局限并指导构建更可靠的评估流程。