在卷积神经网络的卷积层之后总会添加BatchNorm2d进行数据的归一化处理,这使得数据在进行Relu之前不会因为数据过大而导致网络性能的不稳定,BatchNorm2d()函数数学原理如下:
BatchNorm2d()内部的参数如下:
1.num_features:一般输入参数为batch_size*num_features*height*width,即为其中特征的数量
2.eps:分母中添加的一个值,目的是为了计算的稳定性,默认为:1e-5
3.momentum:一个用于运行过程中均值和方差的一个估计参数(我的理解是一个稳定系数,类似于SGD中的momentum的系数)
4.affine:当设为true时,会给定可以学习的系数矩阵gamma和beta
class BasicConv2d(nn.Module): #nn.Module是nn中十分重要的类,包含网络各层的定义及forward方法
def __init__(self, in_planes, out_planes, kernel_size, stride, padding = 0):
# nn.Module的子类函数必须在构造函数中执行父类的构造函数
super(BasicConv2d, self).__init__() # 等价与nn.Module.__init__()
self.conv = nn.Conv2d(in_planes, out_planes,
kernel_size = kernel_size, stride = stride,
padding = padding, bias = False #如果bias=True,添加偏置
) # verify bias false
self.bn = nn.BatchNorm2d(out_planes,
eps=0.001, # value found in tensorflow
momentum=0.1, # default pytorch value
affine=True)
self.relu = nn.ReLU(inplace = True)
def forward(self, x): #前向传播
x = self.relu(self.bn(self.conv(x)))
return x