knowledge distillation reinforcement learning self-improvement small language models vision-language models
摘要

知识蒸馏在小模型场景中易导致泛化能力下降，而强化学习在完全失败时无法更新策略。本文提出最近发展区策略优化（ZPPO），受维果茨基理论启发，将教师信息融入提示而非梯度。针对难题，构建包含正负候选的 reformulated 提示，引导学生辨别错误模式；结合提示回放缓冲区，动态聚焦于学生当前可提升区间。实验表明，ZPPO 在多尺度视觉语言模型上显著优于现有蒸馏与强化学习方法，尤其在小模型上增益最大。

AI 推荐理由

提出 ZPPO 方法，利用教师提示引导学生自我改进，核心关注小模型的自适应进化与持续学习。

研究机构
NVIDIA
论文信息
作者 Byung-Kwan Lee, Ximing Lu, Shizhe Diao, Minki Kang, Saurav Muralidharan et al.
发布日期 2026-06-16
arXiv ID 2606.18216
相关性评分 9/10 (高度相关)
arXiv 页面 下载 PDF Code