摘要
近期语言模型进展迅速,但其自我改进能力(即识别并纠正自身推理缺陷)仍存疑。本研究构建充分性测试,严格考察小语言模型(SLM)的自我修正能力。提出包含三步的最小化自修正流程:收集初始答案、基于真值生成错误提示、利用反馈优化回答。在算术与逻辑基准上的评估显示,注入提示仅提升 4.4% 准确率。即便提供正确答案,SLM 仍无法理解推理缺失,且长提示与错误答案正相关,表明增加计算预算未必提升性能。
AI 推荐理由
论文核心研究小模型自我修正与改进能力,直接对应自我进化主题。
研究机构
American University of Armenia
NVIDIA
论文信息