（脑肿瘤分割-Part-Two）3D-AGSE-VNet：一种自动脑肿瘤MRI数据分割框架

Title:3D AGSE-VNet: An Automatic Brain Tumor MRI Data Segmentation Framework

摘要

目前的一些自动分割算法仍然存在着一些问题：1）分割的算法研究大多停留在二维平面上，这将一定程度上降低三维图像特征提取的精度 2）在这些自动关机分割方法中，都很难精确分割脑肿瘤的轮廓边界区域。--想要解决的问题

针对上述挑战，作者提出了一种脑肿瘤MRI数据自动分割框架AGSE-VNet。在研究中，压缩和激励SE模块被添加到每个编码器当中，注意引导过滤器AG模块被添加到每个解码器，利用信道关系自动增强信道中有用的信息抑制无用的信息，并利用注意机制引导边缘信息，去除噪声等无关信息的影响。

本文的主要贡献是：

1）提出了一种基于V-Net的组合分段模型，集成了SE模块和AG模块

2）使用体积输入，三维卷积用于处理MRI图像

本文的创新之处在于

1）巧妙的利用了通道关系，利用全局信息增强通道中的有用信息，抑制通道中的无用信息

2）增加了注意力机制，网络结构也充满了跳跃连接。通过下采样提取的信息可以快速捕获，从而提高模型的性能

3）使用分类Dice损失函数来解决前景体素和背景体素之间的不平衡问题

方法

网络的整体架构如下图所示：

方法综述

本文为了应对上述的挑战，作者采用了一种组合模型将“压缩和激励”（SE）模块和“注意引导过滤器”模块集成到用于3D MRI脑胶质瘤分割的VNet模型当中，这是一种端到端的结构，以体积输入的形式将数据输入模型，并使用三维卷积来处理MRI图像。当图像与不同的编码器块一起压缩时，分辨率减半，通道数增加。在图像被卷积后，执行压缩模块。通过学习，自动获得每个特征通道的重要性。然后根据此重要级别提升有用功能，并取消当前任务中不太有用的功能。每个解码器接受下采样对应阶段的特征并对图像进行解压缩，上采样时集成AG模块，注意模块用于消除噪声和无关背景的影响，而引导图像滤波用于引导图像特征和结构信息（边缘信息）。模型中使用了跳跃连接的思想，避免了梯度的消失。此外还使用了分类损失作为模型的优化函数。有效的解决了像素不平衡问题

挤压和激励模块（SE模块）

SE模块的结构图如下所示：

其结构主要包括压缩模块和激励模块，这个模块的核心是通过显示建模通道之间的相互依赖关系，自适应的重新校准通道的特征响应

图中的Ftr是标准卷积运算，公式表示如下，输入为X，输出为U

$U_{c}=v_{c}*X=\sum_{s=1}^{C ^{'}}*v_{c}^{s}*x^{s}$

其中Vc表示每个通道作用于相应的通道特征，是一个三维空间卷积是挤压操作，如公式2所示，特征U首先通过压缩操作。它沿空间梯度对特征进行压缩，并将特征映射聚合为W*H的维的特征映射作为特征描述符。

$z_{c}=F_{sq}(U_{c})=\frac{1}{Z*H*W}=\sum_{k=1}^{z}\sum_{i=1}^{w}\sum_{H}^{j=1}(k,i,j)$

每个三维特征通道成为一个实数，它响应特征通道上的全局分布，在一定程度上此时的实数更加接近全局感受野，此操作将转换的输入h*w*c变成1*1*c的输出。

注意引导过滤器（AG）

注意引导过滤器（AG）模块结合了注意模块和引导图像过渡。注意引导过滤器过滤低分辨率特征图和高分辨率特征图，从不同的分辨率的特征图中恢复空间信息和合并结构信息，下图是注意块的示意图：

在图中O和I分别是注意力引导过滤器的输入以及通过计算获得的注意力图。注意块在这种方法中非常关键，有效的解决了背景对前景的影响，具有突出前景，减少背景的效果。对于给定的特征映射O及I，使用1*1*1通道的卷积进行线性变换，然后通过元素相加将两个转换后的特征图与Relu层组合，然后使用1*1*1通道。卷积再次进行线性变换，而Sigmod用于激活最终的注意力特征图T。

下图是AG模块的结果示意图如下：

其输入是引导特征图（I）以及过滤后的特征映射（O），输出高分辨特征图（O~），这是I和O一起结合的结果。

结构详解

1.下采样

网络结构分为编码器和解码器，如下图所示

其中图（a）为编码器，编码区主要用于进行压缩路径，图b为解码器，解码器进行解码，下采样由4个编码器组成，每个编码器包括2到3个卷积层，SE模块和下采样层，SE模块的处理过程如图中（a）右侧所示。特征提取通过步长为2的卷积进行。卷积如下所示：

$i_{s}=i+(s-1)(i-1)$

$o=[\frac{i_{s}+2p-k}{s}+1]$

i是输入大小，is是填充后的输出大小，s是步长，p是填充尺寸，k是卷积核大小，并且o是输出大小

当图像与不同的编码器块一起压缩时，其分辨率将减半，通道数将增加一倍。这是通过用步长为2的3*3*3进行卷积来实现的。卷积操作后，执行压缩和激励模块，巧妙地解决了通道之间的关系，提高了通道中的有效信息传输。值得一提的是，所有卷积层都采用了归一化和dropout处理，ReLU激活函数也应用于网络结构中的各个位置。此外，模型中还采用了跳跃连接的方法，避免了梯度随着网络结构的加深而消失。

2.上采样：

在下采样后，引入AG模块来解决从低分辨率特征图到高分辨率特征图的空间信息恢复和结构信息融合问题。AG模块与SE模块类似。在不改变输入与输出维度的基础上，功能得到了增强。因此，作者将VNet模型中的拼接模块替换为AG模块，并将其集成到解码器模块当中。

每个解码器包括上采样层，AG模块和三层卷积，AG模块中的处理流程如上图所示。解码器解码图像，在上采样中，本文采用步长为2的反卷积来填充图像特征信息。转置卷积公式如下：

O=s(i-1)+2p-k+2

每个解码器块接收下采样的对应级的特征。网络结构最后一层使用的卷积核保持输出通道数与类别数一致。最后，通过sigmoid函数将通道值转换为概率值输出，并将体素转换为脑肿瘤坏疽区域。每个解码块采用跳转连接的思想.

3.跳跃连接：

Vnet为了进一步弥补在编码器的下采样中丢失的信息，在网络的编码器和解码器之间使用concat来融合两个过程中相应位置的特征映射。特别是，本文中采用的方法使用AG（注意引导滤波器块）模块而不是concat，因此解码器可以在上采样期间获取信息。利用更多的高分辨率信息，可以更好地恢复原始图像中的细节信息，提高分割精度。

此外，在网络中引入了相邻层特征重构和跨层特征重构。跨层特征重构模块基于编解码结构。随着网络结构的不断深入相应特征图的感受野会越来越大，其保留的详细信息会越来越少。相邻层特征重构是在具有相同尺寸特征图的每对相邻卷积层之间建立分支，即利用拼接层对上一层和下一层卷积得到的特征图进行卷积。获取通道大小的目的是最大限度地利用所有先前层中的特征信息。

4.损失函数

医学图像分割面临着前景区域个背景区域不平衡的问题，作者选择分类损失作为模型的损失函数

总结

本文基于VNet对模型进行了修改形成了AGSE-VNet模型进行了修改，有5个编码器和四个解码器模块。每个编码器有一个压缩块和激励块，每个解码器块有一个滤波器块。在输入比和输出比不变的情况下，这种设计可以嵌入到模型中，而不会影响网络结构的大小失配。SE模块处理模型后，网络学习全局信息并选择增强通道中的有用信息，然后使用注意力过滤块的注意机制快速捕获其依赖项并增强模型的性能。其次，我们还引入了一种新的损失函数分类dice，为未使用的掩模设置不同的权重，将背景区域的权重设置为0.1，将感兴趣的肿瘤区域设置为1，巧妙地解决了前景和背景之间的体素不平衡问题。