Bootstrap

PMGI图像融合代码学习


PMGI代码和 FusionGAN代码十分类似,可以参考我的另一篇 FusionGAN的博文
论文标题:Rethinking the Image Fusion: A Fast Unified Image Fusion Network based on Proportional Maintenance of Gradient and Intensity

PMGI简介

PMGI是使用卷积神经网络(CNN)来完成图像融合任务,从图像梯度和对比度两条路径来提取图像信息,并且在同一条路径上使用特征重用,以避免由于卷积而丢失图像信息.同时,在两条路径之间引入了路径传递块,实现了不同路径间的信息交换,保证了融合图像有更丰富信息.
论文亮点:

  1. 适用于多种融合任务(红外和可见光图像融合,多聚焦图像融合,多曝光图像融合,医学图像融合,遥感图像融合)
  2. 梯度和强度的LOSS

FusionGAN代码

PMGI代码已经开源在GitHub上PMGI代码

PMGI开源代码内容

代码下载好,解压后,应该有如下内容
PMGI
五个文件夹分别对应红外和可见光图像融合,医学图像融合,多曝光图像融合,多聚焦图像融合,遥感图像融合五个融合任务
IR_VI
每个文件夹中都有一下五个文件
cheatpoint文件夹中CGAN_120文件夹内存放的是预训练模型
医学
多曝光
其中医学文件夹中除了五个基本文件外还有RGB_IHS文件夹,是用于将融合结果转化为彩色。多曝光文件夹中RGB2YCbCr文件夹,是用于将融合结果转化为彩色。

使用预训练模型运行代码

如果只需要使用预训练模型运行代码,需要自己新建Test_ir/Test_vi文件夹,将数据集放入对应文件夹内,运行test_one_image.py文件即可,运行代码为

python3 test_one_image.py

这里使用python3是因为我使用的环境原因,如果您运行报错可尝试使用如下代码

python test_one_image.py

运行正确后,
使用预训练模型测试数据集
实验结果会保存在result文件夹中

;