1. LCAttention介绍
LCAttention(线性协调注意力)机制与CoordAtt(坐标注意力)机制在结构和功能上的关键区别,使得LCAttention在某些方面比CoordAtt更加优异。下面是详细描述:
(1). 注意力机制的引入
CoordAtt
CoordAtt主要通过坐标注意力机制来增强特征表达能力。具体而言,它通过水平方向和垂直方向的全局信息聚合来捕获空间信息。然后,使用卷积层对这些聚合的特征进行变换,再通过逐元素相乘来实现注意力机制。
横向和纵向池化:首先分别对输入特征图进行水平和垂直方向的池化操作,得到两个一维特征图。
特征融合和卷积变换:将两个特征图连接起来,通过卷积层和批归一化层进行变换。
注意力计算:对变换后的特征进行sigmoid操作,生成两个方向的注意力权重,并通过逐元素相乘进行特征增强。
LCAttention
LCAttention在CoordAtt的基础上引入了线性注意力机制。在线性注意力机制中,注意力得分通过查询(query)、键(key)和值(value)之间的矩阵乘法计算得出,并通过softmax归一化后,用于加权求和。
横向和纵向池化:与CoordAtt相同,首先分别对输入特征图进行水平和垂直方向的池化操作,得到两个一维特征图。
特征融合和卷积变换:将两个特征图连接起来,通过卷积层和批归一化层进行变换。