Bootstrap

深度学习之多尺度卷积的发展总结

🔴(2019.04-arXiv)Res2Net: A New Multi-scale Backbone Architecture论文原文】【代码

💡 原理:

  • 在残差结构中又添加了新的残差快;

在这里插入图片描述

🔴(2019.04-arXiv)OctaveConv: Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution论文原文】【代码】【参考

💡 原理:

  • 将特征图分离成低频信息和高频信息,节省存储和算力;
  • 第一层卷积:输入图像默认全部为高频信息;
  • 中间层卷积:特征图包含低频和高频信息;
  • 最后一层卷积:回复正常特征图。

下图:(作者认为:低频特征图的分辨率仅有高频特征图的一半)
在这里插入图片描述

🔴(2019.04-arXiv)ScaleNet:Data-Driven Neuron Allocation for Scale Aggregation Networks论文原文】【代码

💡 原理:

  • 特征图和感受野大小可以动态分配;
  • 初始化,每个尺度的通道数量进行均匀分配,训练网络直至收敛,根据BN层的缩放因子,在满足计算量的前提下,选择其中最重要的一些分支,得到新的网络,重新进行训练该网络。
    在这里插入图片描述

🔴(2019.07-arXiv)MixConv: Mixed Depthwise Convolutional Kernels论文原文】【代码

💡 原理:

  • 深度可分离卷积的mix;
  • 分组采用不同的卷积核大小进行计算;
  • 两种分组方法:等分、指数分割;
  • 最后利用NAS搜索出了一个MIxNet网络结构

在这里插入图片描述

🔴(2020.06-arXiv)pycov:Pyramidal Convolution:Rethinking Convolutional Neural Networks forVisual Recognition论文原文】【代码

💡 原理:

  • 包含不同尺寸与深度的卷积核(源于SIFT);
  • 将输入特征分不同的组,进行独立的卷积计算;
  • 每组的通道数不同

在这里插入图片描述
在这里插入图片描述

更多参考:【改进卷积操作的论文

悦读

道可道,非常道;名可名,非常名。 无名,天地之始,有名,万物之母。 故常无欲,以观其妙,常有欲,以观其徼。 此两者,同出而异名,同谓之玄,玄之又玄,众妙之门。

;