摘要
基于大语言模型的推荐系统常采用慢思考模型生成逐步推理以提升准确率,但其推理过程冗长且增加推理成本。现有训练或推理时压缩方法存在适应成本高或扩展性差的问题。本文提出首个用于推荐系统推理压缩的免训练模型合并框架。该方法在注意力头级别进行细粒度合并,根据各头对关键推理证据的贡献及参数敏感性分配不同合并系数,将快思考模型的简洁行为选择性注入慢思考模型。实验表明,该方法在保持推荐准确性的同时,将推理长度减少达24.3%。
AI 推荐理由
论文核心聚焦于LLM推理过程的压缩与优化,通过模型合并技术平衡推理准确性与简洁性,直接针对推理机制进行改进。
研究机构
The University of Queensland
Griffith University
论文信息