3. 基于协同学习机制的 CNN 肺肿瘤图像融合
3.1 网络架构
三部分：
- 两个独立的编码器
- 协同学习与融合模块
- 图像重建部分
3.1.1 特定模态编码器
编码器：
（卷积层×2+最大池化层）×3
每一 次卷积后都进行以 0 为均值，单位方差分布的归一化。
归一化之后再使用 LeakyReLU 函数进行激活。
卷积层输出：
F
=
L
e
a
k
y
R
e
L
U
(
W
∗
X
+
b
)
F = LeakyReLU(W*X+b)
F=LeakyReLU(W∗X+b)
3.1.2 协同学习CNN激活函数
ReLU
LeakyReLU
3.1.3 协同学习CNN损失函数
交叉熵损失函数
e = − [ y l o g ( p ) + ( 1 − y ) l o g ( 1 − p ) ] e = -[ylog(p)+(1-y)log(1-p)] e=−[ylog(p)+(1−y)log(1−p)]
3.1.4 多模态特征协同学习和融合模块
（1）协同学习
两部分：
协同学习单元
融合操作
F
C
T
:
w
∗
h
∗
c
F_{CT}: w*h*c
FCT:w∗h∗c
F
P
E
T
:
w
∗
h
∗
c
F_{PET}: w*h*c
FPET:w∗h∗c
穿插堆叠：
X
m
u
l
t
i
:
w
∗
h
∗
2
c
X_{multi}: w*h*2c
Xmulti:w∗h∗2c
卷积核：
j
∗
j
∗
m
j*j*m
j∗j∗m，m是模态数=2
融合图计算公式：
F
f
u
s
i
o
n
=
L
e
a
k
y
R
e
L
U
(
W
m
u
l
t
i
∗
X
m
u
l
t
i
+
b
m
u
l
t
i
)
F_{fusion} = LeakyReLU(W_{multi}*X_{multi}+b_{multi})
Ffusion=LeakyReLU(Wmulti∗Xmulti+bmulti)
（2）融合
融合计算公式：
F
c
o
−
l
e
a
r
n
e
d
=
F
f
u
s
i
o
n
⊗
(
F
C
T
⊕
F
P
E
T
)
F_{co-learned} = F_{fusion} \otimes (F_{CT}\oplus F_{PET})
Fco−learned=Ffusion⊗(FCT⊕FPET)
像素级相乘，利用
F
f
u
s
i
o
n
F_{fusion}
Ffusion加权。
3.1.5 重建
最高一级
F
f
u
s
i
o
n
F_{fusion}
Ffusion进行一次 上采样和两次卷积，然后与比其低一级的
F
f
u
s
i
o
n
F_{fusion}
Ffusion进行堆叠，之后再次进行上述操作， 重复至所有尺度
F
f
u
s
i
o
n
F_{fusion}
Ffusion均完成以上操作。
反卷积部分 使用批量标准化和 LeakyReLU 函数进行激活。
3.2 肺肿瘤图像融合实验
PET 图像的分辨率 为 168×168，CT 图像的分辨率为 512×512。
CT 图像去除轮廓外目标。
PET 图像先上采样，再配准。
整理后共有 800 对多模态 PET/CT 肺肿瘤图片用于图像融合，经过尺度变换、裁剪等数据增强方法，将训练集扩大到 2500 对多模态图片。其中 80％用于训练，20％用于测试。
3.3 实验结果与分析
4. 基于 VGG19-GAN 的肺肿瘤图像融合
4.3 VGG19-GAN损失函数
4.3.1 Gram矩阵
n 维欧式空间中任意 k 个向量之间两两的内积所组成的矩阵，称为这 k 个向量的格拉姆矩阵（Gram matrix）
A
×
A
T
A \times A^T
A×AT就是A的Gram矩阵。
Gram 矩阵是一种基于特征表示的统计方法，通常用于计算输入图像的风格信息。
对于输入图像，首先使用 CNN 提取出其在某一层的特征图（C×H×W），
Gram 矩阵的计算可以通过将该特征图重塑为一个大小为 C×H×W 的矩阵，
然后计算其转置矩阵和自身的乘积得到，
G
i
j
=
∑
k
=
1
C
F
i
k
F
j
k
G_{ij} = \sum_{k=1}^{C} F_{ik} F_{jk}
Gij=k=1∑CFikFjk
F
i
k
F_{ik}
Fik表示特征图中第i个通道的第k个像素值；
F
j
k
F_{jk}
Fjk表示特征图中第j个通道的第k个像素值；
G
i
j
G_{ij}
Gij表示第݅个通道和第݆个通道之间的相关性。
4.3.2 损失函数分析
（1）内容损失
平方误差，L2损失。
E
c
o
n
t
e
n
t
=
1
2
∑
i
=
1
n
(
y
i
−
t
i
)
2
E_{content} = \frac{1}{2} \sum_{i=1}^n (y_i - t_i)^2
Econtent=21i=1∑n(yi−ti)2
（2）风格损失
Gram 矩阵实质上是不同特征之间的偏心协方差矩阵。
在每个特征层中，每个数字代表了特定位置的特定卷积核卷积所得到的结果，反映了相应特征的显著程度和两两特征之间的相关性。
对角线元素还可以表明每个特征在图像中出现的频率。
假设有两个图像ܺ和ܻ，它们的 Gram 矩阵分别为
G
X
G_X
GX和
G
Y
G_Y
GY。那么生成图像的风格损失函数为它们 Gram 矩阵之间的均方误差。
E
s
t
y
l
e
(
X
,
Y
)
=
1
C
2
×
H
2
×
W
2
∑
i
=
1
C
∑
j
=
1
C
∑
k
=
1
H
∑
l
=
1
W
(
G
X
i
,
j
(
k
,
l
)
−
G
Y
i
,
j
(
k
,
l
)
)
2
E_{style}(X,Y) = \frac{1}{C^2 \times H^2 \times W^2} \sum_{i=1}^C \sum_{j=1}^C \sum_{k=1}^H \sum_{l=1}^W(G_{X_{i,j}}(k,l) - G_{Y_{i,j}}(k,l))^2
Estyle(X,Y)=C2×H2×W21i=1∑Cj=1∑Ck=1∑Hl=1∑W(GXi,j(k,l)−GYi,j(k,l))2
（3）生成图像损失
生成目标的损失函数是内容损失函数和风格损失函数的加权和。
E
(
G
)
=
α
E
c
o
n
t
e
n
t
(
C
,
G
)
+
β
E
s
t
y
l
e
(
S
,
G
)
E(G) = \alpha E_{content}(C,G) + \beta E_{style}(S,G)
E(G)=αEcontent(C,G)+βEstyle(S,G)
C为内容图像，S为风格图像，G代表了生成图像。
4.4 VGG19-GAN激活函数
Softmax 函数，又称归一化指数函数。
4.5 VGG19-GAN 的肺肿瘤图像融合实验
将不同模态的图像分别作为 Content 图像与 Style 图像作为输入查看融合结果， 将两个模态的输入进行互换再次查看输出结果。
4.6 实验结果与分析
