摘要
组合泛化是理解并生成已知组件新组合的能力,仍是现代人工智能的根本挑战。现有基准多关注语言任务,缺乏复杂的显式组合结构。本文推出 ClassicLogic 基准套件,旨在评估智能体学习与组合问题解决策略的能力。该基准包含数独、肯肯、数和及不等式四种经典逻辑谜题,其核心创新在于为每种游戏构建了分层显式知识库,将复杂求解策略形式化定义为基础策略的组合。此结构支持对智能体推理能力的细粒度评估,涵盖从学习基本规则到应用多步组合策略解决难度递增谜题的全过程。
AI 推荐理由
论文提出基准以评估组合泛化与多步推理能力,核心聚焦逻辑推理机制。
研究机构
Universität Duisburg-Essen, Germany
论文信息