🔴(2019.04-arXiv)Res2Net: A New Multi-scale Backbone Architecture【论文原文】【代码】
💡 原理:
- 在残差结构中又添加了新的残差快;
🔴(2019.04-arXiv)OctaveConv: Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution【论文原文】【代码】【参考】
💡 原理:
- 将特征图分离成低频信息和高频信息,节省存储和算力;
- 第一层卷积:输入图像默认全部为高频信息;
- 中间层卷积:特征图包含低频和高频信息;
- 最后一层卷积:回复正常特征图。
下图:(作者认为:低频特征图的分辨率仅有高频特征图的一半)
🔴(2019.04-arXiv)ScaleNet:Data-Driven Neuron Allocation for Scale Aggregation Networks【论文原文】【代码】
💡 原理:
- 特征图和感受野大小可以动态分配;
- 初始化,每个尺度的通道数量进行均匀分配,训练网络直至收敛,根据BN层的缩放因子,在满足计算量的前提下,选择其中最重要的一些分支,得到新的网络,重新进行训练该网络。
🔴(2019.07-arXiv)MixConv: Mixed Depthwise Convolutional Kernels【论文原文】【代码】
💡 原理:
- 深度可分离卷积的mix;
- 分组采用不同的卷积核大小进行计算;
- 两种分组方法:等分、指数分割;
- 最后利用NAS搜索出了一个MIxNet网络结构
🔴(2020.06-arXiv)pycov:Pyramidal Convolution:Rethinking Convolutional Neural Networks forVisual Recognition【论文原文】【代码】
💡 原理:
- 包含不同尺寸与深度的卷积核(源于SIFT);
- 将输入特征分不同的组,进行独立的卷积计算;
- 每组的通道数不同