摘要
本文介绍了BDH-CQ,一种将上下文学习与循环潜在推理相结合的推理模型。在推理阶段,输入数据持续更新模型的循环记忆;随后,模型在高维潜在空间中通过迭代计算解决查询任务,而无需显式地 verbalize(语言化)其中间推理过程。我们在公开的ARC-AGI-1评估集上对模型进行了评估,并利用受控的类ARC干预措施研究其从演示中学习的内容、应用推断变换的一致性以及难以掌握的概念。一个拥有1.5亿参数的配置在每任务0.0007美元的推理成本下达到了29.5%的pass@2准确率。这一性能突破了此前报告的ARC-AGI-1成本-准确性帕累托前沿,确立了基准测试中成本效率的新状态-of-the-art。
AI 推荐理由
论文核心提出结合上下文学习与循环潜在推理的模型,直接针对LLM/Agent的推理能力进行架构创新与评估。
研究机构
Pathway
Bielefeld University
New York University
论文信息