Multi-branch fusion network for Myocardial infarction screening from 12-lead ECG images
1.摘要
背景与目的:心肌梗死(MI)是由严重心血管阻塞引起的心肌缺氧失能，可引起不可逆损伤甚至死亡。在医学领域，心电图(ECG)是诊断心肌梗死的常用有效手段，往往需要丰富的医学知识。因此，有必要开发一种能够自动检测心肌梗死的方法。
方法:本文提出了一种基于多分支网络、特征融合和分类网络的12导联心电图像MI自动筛查的多分支融合框架。首先，我们使用文本检测和位置对齐来自动从ECG图像中分离出12条导联。然后，将这12条线索输入到由浅层神经网络构建的多分支网络中，得到12张特征图。将这些特征图进行深度融合后，进行分类，判断给定心电图是否为MI。
结果:基于心电图像数据集上的大量实验，分析了不同结构组合的性能。并与其他网络进行了比较，并在实际应用中与医生进行了比较。所有实验均验证了该方法对基于心电图像的心肌梗死筛查是有效的，其准确率、灵敏度、特异性和f1评分分别为94.73%、96.41%、95.94%和93.79%。
结论:本文通过分析12导联心电图像，提出了一种有效的心肌梗死筛查模型，而不是使用典型的一维心电信号。从其对应的心电图像中提取并分析这12条导联是MI筛查应用的一个很好的尝试。
关键词：心肌梗死 心电图像 多分支融合网络
2.研究介绍
心肌梗死(MI)，也称为心脏病发作，是一种严重的冠状动脉疾病，由心脏的动脉阻塞引起。梗死是指组织因供血不足而死亡。心梗筛查常用的方法是心电图、血检和血管造影。
医生诊断的劣势：如果ST段上升，ST段移位或偏置，T波形状改变或翻转，或出现新的Q波，则可能为MI。然而，它是模糊的，因为其他一些心脏疾病也可能导致这种偏见。因此，传统的临床诊断需要医生的专业知识、经验和大量的努力。
实际应用中，有几个限制。首先，时域心电信号通常很难从医院外获取。二是不同医院使用的心电设备不同，导致心电信号格式不统一。
在本文中，提出了一种新的端到端方法，称为多分支融合框架，用于从12导联ECG图像(如打印ECG或ECG屏幕截图)中筛查心肌梗死。它由多分支网络、融合模块和分类模块组成。为了从图像中挖掘尽可能多的特征，本文提出了一种基于12条导联的心电图像的文本检测和位置对齐方法，将心电图像平均分成12块，然后采用包含12个独立网络的结构分别从每个导联中提取特征。然后，在深度维度上融合特征，并将其输入分类模型。
本文贡献：
利用和分析ECG图像，而不是使用一维电信号，如打印ECG和ECG屏幕截图，不局限于不同的ECG设备及其不同的采样率。
提出了一种简单有效的文本检测和位置对齐方法，从心电图像中自动裁剪和标记12条导联，与医生的诊断过程非常相似。
提出了一种新颖的基于cnn的网络结构，包括多分支网络、特征融合和基于密集块的分类。这种结构能够有效地提取心电图像的特征，并在高性能和对有限数据的简单预处理之间进行权衡，达到人类水平。
3.方法
3.1 Problem formulation
MI筛选任务是以心电图像的12个导联(I、II、III、aVR、aVL、aVF、V1、V2、V3、V4、V5、V6)为输入的二元分类任务。假设训练集中有n张心电图像。它可以描述为 
对于训练集中的n个实例，选择交叉熵函数作为代价函数
3.2 Model architecture
下图是方法的流程图：由导联提取、多分支网络、特征融合和分类网络组成
3.2.1 Multi-branch network
多分支网络由12个独立分支机构组成。对于每个分支，都包含相同的特征提取网络，如图所示：
Residual block
Dense block
Shallow neural network
3.2.2 Feature fusion
为了整合从多分支网络中提取的信息，需要对这些特征图进行特征融合。
深度融合
深度融合在深度维度上对特征图进行拼接。
长度融合
长度融合在长度维度上对特征图进行拼接。
例如：将浅层神经网络作为多分支网络，其输出为32 × 32 × 32个特征图。如果采用深度融合，将12个特征图深度融合得到32 × 32 × 384的特征图。如果采用长度融合，将12个长度的特征图融合得到384 × 32 × 32的特征图。
3.2.3 Classification network
ResNet
DenseNet
Shallow neural network
3.3 训练
batchsize = 16
opt = SGM
learning rate = 0.05
4 . Dataset and leads extraction
4.1 ECG data
来源：浙江省第二人民医院提供了不同患者的12导联心电图图像957张，其中MI图像483张，非MI图像474张。所以数据集中有11484条线索。每张图片不包含病人的个人信息。这些图像已经由几位心脏病专家进行了注释，并由一位专家进行了复查。一幅图像中12根引线的排列顺序为3 × 4。这些图像的分辨率各不相同。如下图所示：
4.2 Extraction of leads
4.2.1 Text detection
使用Yolo3模型来检测心电图像中的文本。Yolo3使用手动收集的数据集进行训练，数据集包含12种文本注释，包括I、II、III、aVR、aVL、aVF、V1、V2、V3、V4、V5和V6。然后将心电图像输入训练好的Yolo3，输出每个导联上方的文本包围框。
下图给出了包含12个文本包围框的心电图像。从心电图像中得到的12个绑定框可描述为
4.2.2 12 leads detection
核心思想是通过使用围绕引线的两个包围框来获得引线的位置。
5.结果
由上表可以看出，最优组合是采用浅层神经网络作为多分支网络，DenseNet作为分类网络，深度融合。准确率94.73%，敏感性96.41%，特异性95.94%，f1评分93.79%。在准确度方面，该组合比其他组合约高0.98% ~ 7.23%。该组合的灵敏度比其他组合高1.41% ~ 10.42%。该组合的f1得分比其他组合高0.08% ~ 7.27%。特异性方面，该组合虽未达到最佳效果，但仅比最佳组合低0.49%。
Structural parameters
Kernel size ：当kernel的大小设置为3 × 3时，比设置为5 × 5的情况要好得多。对于所有四个标准，使用3 × 3的内核使我们的模块的性能比使用5 × 5的性能高1.57%到3.35%。
Learning rate ：设置了五组对比实验，初始学习率分别为0.03、0.05、0.07、0.1和0.2。下表可以看出，当初始学习率设置为0.05时，模型的性能最好。此外，我们可以看到，当学习率设置为0.03、0.05、0.07和0.1时，模型的性能比较接近。但是，当学习率设置为0.2时，性能急剧下降。
Growth rate：考虑到训练时间较短，我们选择24作为模型的增长率。
5.4 Comparison with different classifiers
