1. CSimAM介绍
CSimAM(Channel SimAM)注意力机制结合了SimAM和通道注意力机制(Channel Attention),在图像特征提取上展现出比单独使用SimAM更为优异的性能。以下是详细描述:
SimAM注意力机制
SimAM(Similarity Attention Mechanism)通过计算特征图中每个像素点与其均值的差异来生成注意力权重。具体来说,SimAM的工作原理如下:
(1). 均值计算:对于输入特征图`x`,计算其在空间维度上的均值。
(2). 差异计算:计算每个像素点与均值的平方差。
(3). 归一化处理:将平方差除以归一化因子,归一化因子由平方差的和与一个常量(e_lambda)共同决定。
(4). 注意力权重生成:通过Sigmoid激活函数将归一化结果转换为[0,1]之间的注意力权重。
(5). 加权特征图:将输入特征图与注意力权重相乘,得到加权后的特征图。
Channel Attention机制
通道注意力机制主要关注特征图的通道维度。其工作原理如下:
(1). 全局平均池化:对输入特征图进行全局平均池化,得到每个通道的平均值。
(2). 全连接层:通过一个全连接层(卷积层实现)生成每个通道的权重。
(3). Sigmoid激活:使用Sigmoid激活函数将权重限制在[0,1]之间。