摘要
本文提出 CombEval，一个用于评估大型语言模型组合计数能力的动态基准。该框架通过类型化的 Cofola 规范表示问题，涵盖实体、组合对象、依赖关系及约束，支持生成具有精确验证答案的自然语言计数问题。与静态集合不同，CombEval 能系统变化对象类型、规模、约束数量及推理深度。实验评估了 11 种模型，发现其在有序对象、不可区分元素及嵌套依赖等场景下表现脆弱，错误分析揭示了约束解释与计数原则理解的缺陷。
AI 推荐理由
论文核心聚焦组合计数推理，构建基准评估 LLM 在逻辑与数学推理中的表现及失败模式。
研究机构
School of Artificial Intelligence, Jinan University, Changchun, China
Czech Technical University in Prague, Prague, Czech Republic
CRRC Zhuzhou Institute, Zhuzhou, China
International Center of Future Science, Jinan University
Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China
论文信息