摘要
针对大模型在检索增强生成（RAG）与长上下文（LC）策略间的选择难题，本文提出 Pre-Route 框架。该方法通过在回答前进行结构化推理，利用轻量级元数据执行任务分析与需求预测，实现主动且可解释的路由决策。研究发现，通过指南可激发 LLM 潜在的 routing 能力，结构化提示能增强表示空间中的最优路由维度分离性，且可通过蒸馏迁移至小模型。实验表明，Pre-Route 在成本效益上优于现有基线方法。
AI 推荐理由
论文核心在于利用结构化推理进行路由决策，虽涉及规划但侧重推理能力激发。
研究机构
Beihang University
HKUST
Alibaba Group
Pennsylvania State University
论文信息