Relay-Bench：评估大语言模型在多领域推理链上的表现

本文介绍了 Relay-Bench，这是一个未饱和的、整体性的纯文本基准，旨在衡量大语言模型在单一提示下完成多个不同领域任务的能力。测试集完全由复合问题组成，即将单领域子问题串联成需跨领域结合推理的挑战，并通过提示编码和故意增加上下文冗余来提升复杂度。涵盖视觉推理、编程、数学、信息提取、问题解决、常识及数据分析等领域，鼓励模型利用代码执行和网络搜索等工具。