摘要
复杂结构化推理任务通常需额外计算,现有模型依赖扩大参数或思维链序列化,导致成本高昂或受限于输出长度。本文提出 Penelope,一种针对解码器 Transformer 的高效潜层推理框架。该方法将递归计算局部化至特定解码区间,利用问题条件边界记忆及时间调制 GRU 动态进行迭代细化。通过渐进式课程学习,将可见推理迁移至内部潜路径,实现在不重复执行完整解码器或生成长中间轨迹的情况下分配额外计算。实验表明,该方法在保持竞争力的同时显著降低了推理延迟。
AI 推荐理由
论文提出潜空间推理框架,核心解决结构化推理的效率与计算分配问题。
研究机构
Shouqian Shi
Haochen Wang
Tianxing Xu
Zirui Ding
论文信息