用于低对比度医学图像分割的高分辨率编码器-解码器网络
IEEE Transactions on Image Processing 2020
主要挑战（以盆腔CT图像为例）:
(1)复杂的边界相互作用：盆腔CT图像分割的主要目标器官是三个相邻的软组织(前列腺、膀胱和直肠)由于这些器官彼此相邻，并且它们的形状和尺度或因器官内不同量的尿液或肠气显着地改变，因此这些器官的边界相互作用可能是复杂的；
(2)外观变化大：主要盆腔器官的外观在有无肠气、造影剂、和金属植入物的情况下可能会发生显着变化；
(3)组织对比度低：CT图像，尤其是骨盆区域的CT图像，边界模糊消失。
在医学图像分割的深度学习方法文献中，经常结合两种策略来解决组织对比度低的问题：A在分割框架之前引入形状作为整体正则化，以消除不合理的预测；B提高学习特征的判别和推理能力，让网络通过检查周围的强度分布和轮廓变化趋势来推断模糊区域的内容。
与自然或MR图像相比，CT图像明显缺乏丰富且稳定的纹理信息（尤其是在软组织上）。图像的低噪声对比度采集导致的模糊甚至消失的边缘使得器官的实际边界容易被大量伪影污染甚至部分隐藏。因此，一个整体器官可能会意外地分裂成不同大小和形状的孤立部分，而独立的器官可以在视觉上合并为一个整体。
近年来，使用基于深度学习的算法在提高低对比度医学图像分割的性能方面取得了相当大的进步。与传统的基于浅层学习的算法相比，这种压倒性的性能提升归功于端到端的学习机制。几乎所有最先进方法的一个共同特征是具有跳跃连接的编码器-解码器架构。在这种结构中，下采样操作与卷积一起用于提取鲁棒的高级语义信息，而跳跃连接用于传递低级纹理和位置信息。
尽管这种结构的有效性已经在许多应用中得到了说明，但我们认为：
(1)跳跃连接可能难以保留模糊边界的正确位置信息。与高对比度图像不同，医学图像中各种伪影导致的边界模糊或缺失，使得上下文信息少的浅层很难甚至不可能描绘出器官边界，从而在附近留下许多假边界；
(2)在编码器-解码器路径中，由于包含下采样操作，重要的位置信息逐渐丢失，结果，对于在虚假路径之间找到正确边界至关重要的路径的空间判别能力变得不可靠。
Contributions：
1.通过仔细分析和实验验证，我们发现流行的编码解码器神经网络在低对比度图像分割方面存在一个内在问题，即它们缺乏准确定位模糊或消失边界的机制。
2.为了解决这个问题，引入具有三种不同路径和难度感知损失函数的新型高分辨率多尺度编码器-解码器网络（HMEDN）1跳跃路径 2高分辨率路径 3蒸馏路径。跳跃路径由简单的跳跃连接组成，高分辨率路径由一系列密集连接的扩张卷积层组成，而蒸馏路径以编码器-解码器方式与密集块组成。在网络中，通过高分辨率路径和蒸馏路径提取的两种语义信息被精细融合，以确保位置和语义之间的平衡。通过在网络中仔细放置高分辨率路径，我们以可承受的内存消耗获得更好的性能。
3. 为了更好地捕获多尺度结构信息并分割可能具有各种形状和大小的孤立器官部分，提出了一种集成的多尺度信息保存机制，这与轮廓回归任务一起完成，以专注于边界的准确定位；最后，由于并非所有体素在分割中都具有相同的难度，因此我们引入了难度引导的交叉熵损失，以帮助网络更加关注边界模糊的区域。
4.对CT、MR和显微图像数据集、语义和实例分割任务以及2D和3D模型的广泛实验验证了我们提出的网络和高分辨率路径的有效性。通过实验，我们发现语义信息的分辨率是分割网络性能的一个重要因素，而这通常被忽略。
High-Resolution Multi-Scale Encoder-Decoder Network (HMEDN)
1.蒸馏路径
我们分割低对比度医学图像的第一个策略是提供更全面的多尺度信息收集和融合机制。一般来说，文献中多尺度信息保存通常采用两种结构（U-Net 和整体嵌套边缘检测HED）；
在U-Net中，通过将上采样的大感受野层与通过跳跃连接传递的具有较小感受野的层级联（即一次合并不超过两个尺度），逐渐合并多尺度信息，这样，U-Net逐渐对多尺度信息进行精细的整合和处理，从而使信息融合充分，并让中间结果指导后续融合；
相比之下，通过将多个尺度的特征图同时融合到最终输出中，HED方法省略了解码过程中复杂的卷积操作，更直接地获取多尺度信息。在这种情况下，由于所有信息是同时处理的，因此可以更全面地进行多尺度信息的融合。
为了利用这两种类型的网络，我们继承了U-Net结构以及HED网络的侧输出来构建我们的蒸馏路径。此外，在该路径中，为了进一步鼓励不同层之间的平滑信息流并使网络的训练更易于管理，我们将原始的普通连接替换为密集连接。这种结构用蒸馏路径表示，由于使用了下采样层，它可以有效地扩大感受野并有效地过滤多余的无关紧要的成分。如图所示，蒸馏路径2的轮廓是一个具有四个下采样和四个上采样层的U-Net。然而，除了常规的跳跃连接外，来自具有不同大小感受野的中间层的三个额外侧通道也被上采样并与网络的主通道合并，以鼓励更全面的多尺度信息融合。此外，通过将所有前面的层连接到最后一层，构建了密集块（即图中的那些实心绿色矩形），并将它们用作构建块，以鼓励网络内的信息流畅流动。
2.高分辨率路径
当跳跃连接应用于低对比度的图像时，较低层提取的局部外观特征可能无法避免周围的假设边界并识别消失的边界，从而对这些算法的准确性产生负面影响。因此，为了在模糊图像中实现准确的边界定位，需要一种能够提供有区别的高分辨率上下文信息的机制。为了满足这种特殊需求，引入了基于扩张卷积的路径。
这种语义信息提取过程可以为相应的网络提供两个优点：
(1)由于在信息处理过程中没有丢失分辨率，因此可以很好保留对正确理解图像很重要的小而薄的对象；
(2)由于不包含下采样操作，生成的特征图的位置信息可以得到更好的保存。
这些路径中的构建块是残差扩张卷积块。如图所示（即黄色方块），它由两个卷积块和一个快捷连接构成。这个块的好处有两个：A它提高了训练速度并鼓励了流畅的信息流 B结合空洞卷积，跳跃连接隐式地利用和融合来自不同尺度的信息。此外，为了进一步改善经典扩张残差网络中较弱的长期信息流，我们结合密集连接，让来自高分辨率路径早期的信息直接传递到最后一层模块。这种设置也导致了整个网络更细粒度的多尺度信息收集。之后，为了降低训练难度并使路径能够区分真实的器官（或组织）边界，引入了深度监督机制。在我们的实验中，九个剩余的扩张卷积块组成了路径。
3.轮廓信息集成
在最近的研究中，神经科学家研究表明，在哺乳动物视觉系统中，轮廓描绘与对象分割密切相关。为了结合这些见解来提高分割精度，研究人员将轮廓检测任务与分割任务相结合。这种设计的优点有三方面：(1)它为分割任务提供了更强大的指导。(2)提高了相应网络的泛化能力。(3)引入轮廓回归任务可以帮助引导网络更多地集中在器官区域的边界上，从而有助于克服组织对比度低的不利影响。在本文中，在网络末端添加了一个回归任务作为辅助引导。在现有的研究中，由于图像对比度高，边界通常清晰稳定。因此，这些研究中的作者将轮廓检测建模为二元分类问题。然而，在我们的应用中，由于图像的模糊性，边界附近的体素通常高度相似。因此，将边界描绘任务建模为回归问题会更合理，它估计每个体素在器官边界上的概率。
为了提取用于训练的轮廓，首先通过在分割的真值上执行 Canny 检测器来描绘不同器官的边界。然后，在这个边界图上，我们进一步应用带宽为δ=2的高斯滤波器。对于每个体素，生成概率图的近似值，它描述了每个体素在器官边界上的确定性。因此，回归目标是最小化欧几里得损失函数。
4.困难引导的交叉熵损失
为了平衡来自不同类别的体素的频率，分类交叉熵损失是多类别分割的常见选择。在最近的一项工作中，Li等人认为，并非所有体素都是平等的，应该更多地关注困难体素。受此论点的启发，提出了一个困难引导的权重图来引导网络并更多地关注模棱两可的区域。
很明显，现有网络的误差主要集中在前景和背景的边界附近，它在软组织的接触边界处变得更大。通过这些观察，我们分三个步骤构建权重图：
(1) 我们使用Canny算子根据分割的ground-truth计算类别（即器官）k的二值边界图像Bk
(2) 我们使用带宽为δ2的高斯滤波器扫描每个Bk，得到平滑的边界图像SBk
(3) 最后，对所有的SBk 求和，然后归一化以构建最终的权重图，使用我们提出的难度引导权重图，我们提出了用于分割的损失函数 Ls
Conclusion and future work
在蒸馏路径中，U-Net结构和HED结构都被用来捕获全面的多尺度信息;在高分辨率路径中，采用密集连接的残差膨胀块来提取位置准确的语义信息，用于模糊边界定位。编码器-解码器网络中通常采用的跳跃连接不足以检测医学图像中模糊和消失的边界;在语义特征分辨率和网络复杂度之间找到良好的平衡是分割性能的重要因素，尤其是在模糊图像中分割小而复杂的结构时。未来将把该算法与基于形状的分割方法结合起来，并结合更稳健的目标器官形状和结构信息。