Bootstrap

Shift-ConvNets:具有大核效应的小卷积核

由深圳大学发布的文章,Shift-ConvNets:具有大核效应的小卷积核,对硬件设备友好。

代码:https://github.com/lidc54/shift-wiseConv.

如何在不增加卷积核大小的情况下,提高卷积神经网络(CNN)的性能。

近年来,Vision transformers(ViTs)的出色性能得益于其大的接收场。因此,设计大卷积核成为使卷积神经网络(CNN)再次优秀的理想解决方案。然而,典型的大的卷积核在硬件上并不友好,导致各种硬件平台的兼容性降低。因此,简单地增大卷积核的大小是不明智的。

这篇文章揭示了小卷积核和卷积操作可以获得大卷积核大小的闭包效果。然后,提出了一个移位操作符,以确保CNN利用稀疏机制捕获长距离依赖关系,同时保持硬件友好。实验结果表明,我们的移位操作符显著提高了常规CNN的准确性,同时显著减少了计算需求。在ImageNet-1k上,我们的移位增强CNN模型优于当前最先进的模型。

文中提出的方法是Shift-wise Operator。这是一个确保卷积神经网络(CNNs)能够捕捉到长距离依赖关系,同时保持硬件友好性的操作。实验结果表明,该操作可以显著提高常规CNN的准确度,同时显著降低计算需求。

;