摘要
本文探讨了基准驱动的机器学习中缺乏过拟合的现象，提出成功策略具有高度可压缩性的假设。通过在 LLM 驱动的研究代理中设置输出和输入两种信息瓶颈进行验证：前者测试仅凭极短提示复现高性能模型的能力，后者限制代理仅接收单比特反馈。实验涵盖八个数据集，结果表明压缩并未显著影响性能，支持了成功策略占据低复杂度区域的观点，为理解基准驱动 ML 的泛化提供了描述长度解释。
AI 推荐理由
研究 LLM 代理通过压缩反馈自适应搜索策略，体现自我改进与进化机制。
研究机构
Amazon Responsible AI
University of Pennsylvania
Carnegie Mellon University
论文信息