PMGI代码和 FusionGAN代码十分类似,可以参考我的另一篇 FusionGAN的博文
论文标题:Rethinking the Image Fusion: A Fast Unified Image Fusion Network based on Proportional Maintenance of Gradient and Intensity
PMGI简介
PMGI是使用卷积神经网络(CNN)来完成图像融合任务,从图像梯度和对比度两条路径来提取图像信息,并且在同一条路径上使用特征重用,以避免由于卷积而丢失图像信息.同时,在两条路径之间引入了路径传递块,实现了不同路径间的信息交换,保证了融合图像有更丰富信息.
论文亮点:
- 适用于多种融合任务(红外和可见光图像融合,多聚焦图像融合,多曝光图像融合,医学图像融合,遥感图像融合)
- 梯度和强度的LOSS
FusionGAN代码
PMGI代码已经开源在GitHub上PMGI代码
PMGI开源代码内容
代码下载好,解压后,应该有如下内容
五个文件夹分别对应红外和可见光图像融合,医学图像融合,多曝光图像融合,多聚焦图像融合,遥感图像融合五个融合任务
每个文件夹中都有一下五个文件
cheatpoint文件夹中CGAN_120文件夹内存放的是预训练模型
其中医学文件夹中除了五个基本文件外还有RGB_IHS文件夹,是用于将融合结果转化为彩色。多曝光文件夹中RGB2YCbCr文件夹,是用于将融合结果转化为彩色。
使用预训练模型运行代码
如果只需要使用预训练模型运行代码,需要自己新建Test_ir/Test_vi文件夹,将数据集放入对应文件夹内,运行test_one_image.py文件即可,运行代码为
python3 test_one_image.py
这里使用python3是因为我使用的环境原因,如果您运行报错可尝试使用如下代码
python test_one_image.py
运行正确后,
实验结果会保存在result文件夹中