COLT：通过共享 MCTS 推理实现面向模型编译的轻量级多 LLM 协作

针对模型服务成本高企的问题，本文提出 COLT 框架，旨在通过小型大语言模型（LLM）的协同推理达到或超越单一大型模型的性能。该方法在单次蒙特卡洛树搜索（MCTS）中协调多个模型，利用共享 MCTS 树作为协作基础，实现转换前缀复用和跨模型价值传播。通过内生化的模型选择机制、感知模型的树策略及课程调整机制，该框架避免了复杂的外部规划器与记忆系统，高效完成了编译器优化任务中的协同推理过程。