德国弗莱堡大学、希尔德斯海姆大学等联合 | Zero-Shot AutoML with Pretrained Models（基于预训练模型的零样本AutoML）

作者：Ekrem Ozturk，Fabio Ferreira，Hadi S. Jomaa 等

简介：给定一个新的数据集 D 和一个低计算预算，我们应该如何选择一个预训练模型来微调到 D，并设置微调超参数而不会有过度拟合的风险，特别是在 D 很小的情况下？在这里，作者扩展了自动化机器学习 (AutoML) 以最好地做出这些选择。作者的领域无关元学习方法学习了一个零样本代理模型，该模型在测试时允许为新数据集 D 选择正确的深度学习 (DL) 管道（包括预训练模型和微调超参数）仅给出描述 D 的琐碎元特征，例如图像分辨率或类数。为了训练这个零样本模型，作者在大量数据集上收集许多 DL 管道的性能数据，并对这些数据进行元训练，以最小化成对排序目标。为推进ChaLearn AutoDL挑战基准 ，作者在严格时间限制下评估了作者的方法，明显优于所有挑战竞争者。

论文下载：https://arxiv.org/pdf/2206.08476.pdf