用于大语言模型辅助算法发现的对比概念树搜索

大语言模型辅助的算法发现是一种针对程序的迭代黑盒优化过程。针对如何充分利用 LLM 对程序空间的内部表示以提升性能这一开放问题，本文提出了对比概念树搜索（CCTS）。该方法从生成的程序中提取分层概念表示，并学习对比概念模型以指导父代选择。通过在高性能与低性能解之间计算似然比得分来重加权父代，CCTS 引导搜索趋向有用的概念组合并避开误导性组合。实验表明，CCTS 在 Erdős 型组合数学问题上显著提升了搜索效率，并生成了可解释的任务特定概念树。