摘要
本文探讨小型语言模型能否在无复杂适配机制下实现强劲的工具使用性能。通过 Meta-Tool 实证研究,对比基于超网络的 LoRA 适配与精心设计的少样本提示。实验在 Llama-3.2-3B 上进行,评估四种机制在四个基准上的表现。结果显示,超网络未带来性能提升,而少样本示例和文档编码分别贡献显著。研究表明,优化提示工程比复杂架构更有效,小模型经良好提示可达 GPT-5 近八成性能且延迟更低。
AI 推荐理由
论文核心研究小模型的工具使用能力,对比不同适配机制对技能表现的影响。
研究机构
LexisNexis, USA
论文信息