1. EfficientNetV2介绍
1.1 摘要：本文介绍了 EfficientNetV2，这是一个新的卷积网络家族，与之前的模型相比，它具有更快的训练速度和更好的参数效率。 为了开发这些模型，我们结合使用训练感知神经架构搜索和缩放，共同优化训练速度和参数效率。 这些模型是从富含新操作（例如 Fused-MBConv）的搜索空间中搜索的。 我们的实验表明，EfficientNetV2 模型的训练速度比最先进的模型快得多，同时体积缩小了 6.8 倍。 我们可以通过在训练过程中逐渐增加图像大小来进一步加快训练速度，但这通常会导致准确性下降。 为了弥补这种准确性下降，我们提出了一种改进的渐进式学习方法，该方法可以根据图像大小自适应调整正则化（例如数据增强）。 通过渐进式学习，我们的 EfficientNetV2 在 ImageNet 和 CIFAR/Cars/Flowers 数据集上显着优于以前的模型。 通过在相同的 ImageNet21k 上进行预训练，我们的 EfficientNetV2 在 ImageNet ILSVRC2012 上实现了 87.3% 的 top-1 准确率，比最近的 ViT 准确率高出 2.0%，同时使用相同的计算资源训练速度提高了 5-11 倍。