Tool-Integrated Reasoning Self-Distillation Reinforcement Learning Credit Assignment
摘要

工具集成推理(TIR)使大语言模型能通过迭代工具交互解决复杂任务。然而,现有的强化学习方法通常依赖轨迹级监督,限制了长周期TIR场景下的细粒度信用分配。虽然在线自蒸馏通过特权上下文提供密集信号,但现有方法生成的上下文往往无法反映智能体实际访问的状态,且词元级监督忽略了工具交互的回合结构。为此,我们提出TurnSight,一种基于执行条件回溯的回合级自蒸馏框架。它构建不同前瞻视野的回溯视图,并通过跨视野方向一致性选择可靠监督信号,最后归一化该信号以自适应调节强化学习优势值。实验验证了其有效性。

AI 推荐理由

论文核心解决Tool-Integrated Reasoning中的细粒度信用分配问题,直接提升LLM推理能力。

研究机构
中国人民大学高岭人工智能学院 北京大学 百度公司
论文信息
作者 Changle Qu, Sunhao Dai, Hengyi Cai, Yuqi Zhou, Xinran Chen et al.
发布日期 2026-08-04
arXiv ID 2608.04007
相关性评分 9/10 (高度相关)