LLM Evaluation Legal Reasoning Human Rights Benchmark
摘要

大型语言模型(LLMs)日益介入关于人权实现的法律判定,但目前缺乏评估其对人权法推理正确性的基准。为此,我们提出了一种稳健且可扩展的方法论来开发HumRightsBench:这是首个经专家验证、基于情景的基准,旨在评估基于国际人权法义务结构的推理能力。我们将IRAC法律推理框架调整为IRAP以适配人权工作模式,并生成了由全球律师标注的真实场景系列。实验显示模型准确率差异显著,证明该基准是推进AI评估科学这一新兴子领域的有力工具。

AI 推荐理由

论文核心在于构建评估LLM在人权法律领域推理能力的基准,直接针对逻辑与法律推理能力。

研究机构
清华大学 Meta AI
论文信息
作者 Savannah Thais, Wm. Matthew Kennedy, Abhigyan Acherjee, Matilda Wysocki, Malcolm Langford et al.
发布日期 2026-08-10
arXiv ID 2608.10268
相关性评分 9/10 (高度相关)