摘要
大型语言模型(LLMs)日益介入关于人权实现的法律判定,但目前缺乏评估其对人权法推理正确性的基准。为此,我们提出了一种稳健且可扩展的方法论来开发HumRightsBench:这是首个经专家验证、基于情景的基准,旨在评估基于国际人权法义务结构的推理能力。我们将IRAC法律推理框架调整为IRAP以适配人权工作模式,并生成了由全球律师标注的真实场景系列。实验显示模型准确率差异显著,证明该基准是推进AI评估科学这一新兴子领域的有力工具。
AI 推荐理由
论文核心在于构建评估LLM在人权法律领域推理能力的基准,直接针对逻辑与法律推理能力。
研究机构
清华大学
Meta AI
论文信息