摘要
口语语言模型(SLM)在自然交互中表现良好,但其推理能力尤其是口语数学问答方面仍落后于文本大模型。主要挑战在于纯语音化的数学表达式难以解释,且直接迁移文本推理受架构和计算限制。为此,本文提出高效模态链推理(ECoM Reasoning)框架,首次将压缩推理引入 SLM。该方法通过压缩文本组件使其兼具语音引导与推理表示功能,在减少令牌用量的同时提升准确率。此外,提出基于课程的渐进压缩策略进行训练。实验表明,相比无显式推理的标准 CoM,准确率提升 21%;相比全量推理轨迹的 CoM,在仅使用 40% 文本令牌的情况下准确率仍提升 3%,实现了推理增强与推理效率的平衡。
AI 推荐理由
论文提出高效模态链推理框架,核心解决口语模型数学推理难题。
研究机构
Shanghai Jiao Tong University
Shanghai Innovation Institute
Shanghai, China
Token Foundry, Alibaba Group
Hangzhou, China
Sunnyvale, United States
论文信息