摘要
本文提出 LatentMT,首次系统研究用于机器翻译的隐式推理循环语言模型(LoopLMs)。该方法不增加参数量或生成显式思维链,而是在隐藏状态内进行递归计算。实验表明,仅需轻量级训练适配 26 亿参数模型,其在 32 个翻译方向上性能媲美大 3-5 倍的模型,尤其在低资源语言上达到最先进水平。机制分析显示,随着推理步数增加,隐藏表示差异迅速缩小导致性能饱和。该路径显著降低了训练与推理算力需求。
AI 推荐理由
论文核心研究隐式推理循环机制,通过隐藏状态计算提升翻译质量,属推理能力核心架构研究。
研究机构
The University of British Columbia
Rice University
Canada Research Chair in NLP and ML
论文信息