自动研究而非超参数调优：10,000 次实验的收敛性分析

本文通过分析两个 LLM 代理在 27 天内执行的 10,469 次实验，探究其是否进行真正的架构搜索。方差分解显示，架构选择解释了 94% 的性能差异，证实了代理具备发现新颖架构（如 V-JEPA2 结合 Zipformer）的能力，而非局限于超参数调优。LLM 引导的搜索在少量迭代下即超越随机搜索，并呈现出特定的幂律收敛特征。研究还通过熵循环刻画了多代理搜索动态，为 LLM 指导的组合式机器学习实验设计提供了首个大规模实证框架。