Knowledge Distillation Small Language Models Strategic Reasoning Multi-hop QA
摘要

小型语言模型(SLM)虽高效但难以处理需结构化推理的复杂任务。本文提出 FutureMind,一种模块化推理框架,通过自适应知识蒸馏将大模型的战略思维模式先验迁移至 SLM。该框架包含问题分析、逻辑推理、策略规划及检索引导四个模块,并结合三种检索范式分解复杂查询。实验表明,FutureMind 在多项多跳问答基准上超越现有基线,达到最先进水平。研究还揭示了师生模型间的认知偏差瓶颈,为提升 SLM 推理能力提供了新视角。

AI 推荐理由

论文核心提出模块化推理框架,通过蒸馏赋予小模型战略思维模式,显著提升复杂推理任务表现。

研究机构
小米公司 帝国理工学院计算机科学系
论文信息
作者 Shaoxiong Yang, Junting Li, Mengyuan Zhang, Chao Li, Wei Liu et al.
发布日期 2026-02-01
arXiv ID 2602.01222
相关性评分 9/10 (高度相关)