self-improvement small language models self-correction reasoning limits
摘要

近期语言模型进展迅速,但其自我改进能力(即识别并纠正自身推理缺陷)仍存疑。本研究构建充分性测试,严格考察小语言模型(SLM)的自我修正能力。提出包含三步的最小化自修正流程:收集初始答案、基于真值生成错误提示、利用反馈优化回答。在算术与逻辑基准上的评估显示,注入提示仅提升 4.4% 准确率。即便提供正确答案,SLM 仍无法理解推理缺失,且长提示与错误答案正相关,表明增加计算预算未必提升性能。

AI 推荐理由

论文核心研究小模型自我修正与改进能力,直接对应自我进化主题。

研究机构
American University of Armenia NVIDIA
论文信息
作者 Marina Igitkhanian, Erik Arakelyan
发布日期 2026-06-07
arXiv ID 2606.08471
相关性评分 9/10 (高度相关)