https://github.com/GuoShi28/CBDNet
为了提高深度CNN去噪器的泛化能力,使用真实噪声模型和真实世界的噪声干净图像对训练卷积盲去噪网络(CBDNet)
-
信号相关噪声和摄像机内的信号处理流水线被认为是合成真实的噪声图像
-
真实世界的嘈杂照片和几乎无噪音的照片也包括
提供一种交互式的去噪方法,在其中嵌入一个具有非对称学习的噪声估计自网络,以抑制噪声水平的欠估计。
Introduction
现研究已经实现接近最佳性能的方法用于去除加性高斯白噪声(AWGN).然而在真实的相机系统中,图像噪声来自多个源(暗电流噪声、短路噪声和热噪声),并且还受到相机内处理(ISP)流水线的影响(去马赛克、伽马校正和压缩)。所有这些都使得真实噪声与AWGN更加不同,高斯噪声去噪器用于真实噪声去噪其性能会显著降低。
PoissonGaussian分布可以近似为信号相关和平稳噪声分量的异方差高斯分布被认为是用于真实的原始噪声建模的比AWGN更合适的替代方案。
CBDNet由两个子网组成:噪声估计和非盲去噪。
通过引入噪声估计子网络,通过对噪声水平的低估误差施加更多乘法来采用非对称损失,使其模型具有鲁棒性。允许用户通过调整估计的噪声水平图来交互地校正去噪结果。优点:
-
同时考虑异方差高斯噪声和摄像机内处理流水线,提出了一种真实的噪声模型,大大提高了去噪性能,
-
合成噪声图像和真实的噪声图片被合并,以更好地表征真实世界的图像噪声并提高去噪性能
-
由于引入了噪声估计子网络,提出了非对称损失以提高对真实的噪声的泛化能力,并通过调整噪声水平图来实现交互式去噪。
Related Work
Deep CNN Denoisers
FFDNet针对真实噪声图像去噪性能较好,基于此基础上改进,包括一个噪声估计子网络以及一个非对称损失,以抑制噪声水平估计不足的错误
Image Noise Modeling
大多数针对非盲高斯去噪。真实的图像中的噪声来自各种来源(暗电流噪声、短路噪声、热噪声),通过泊松对光子感测进行建模并且用高斯对剩余稳态干扰进行建模,泊松-高斯噪声模型被用于成像传感器的原始数据。相机相应函数(CRF)和量化噪声也被考虑用于实际的噪声加墨,代替泊松-高斯。
证明了现实噪声模型在基于CNN的真实照片去噪中起着关键作用。泊松-高斯噪声和相机内图像管道都有利于去噪性能,
Blind Denoising of Real Images
对真实噪声图像的盲去噪:噪声估计和非盲去噪
对于AWGN,基于PCA的方法来估计噪声标准差(SD)
对于泊松-高斯模型,多个期望/标准差对的局部估计和全集参数模型拟合
Proposed Method
CNN的泛化很大程度上取决于记忆训练数据的能力。针对于高斯噪声去噪的CNN可能过度拟合到AWGN,而真实的噪声分布于高斯分布有很大不同。
用真实的噪声对模型训练,真实的图像噪声更复杂依赖于信号。
泊松高斯噪声:L是原始像素的辐照图像。
n(L)包含两个分量,即具有噪声方差的平稳噪声分量 ,具有空间变化噪声方差的信号相关噪声分量。然而真实的照片通常是在相机内处理(ISP)之后获得,进一步增加了噪声的复杂性,使其在空间和色度上相关。即采取ISP流水线的两个主要步骤,去马赛克和伽马校正。
y表示合成噪声图像。f(·)为CRF均采样的相机相应函数(CRF)。用于从干净图像x生成辐照度图像。M(·)表示将sRGB图像转换成bayer图像的函数。DM(·)表示去马赛克函数。其中插值涉及不同通道和空间位置的像素。不同通道和空间位置。是信号和空间相关。
噪声估计子网络和非盲去噪子网络。首先,采用噪声观测y来产生估计噪声水平图,采用五层全卷积网络,没有池化和批量归一化嘈杂,在每个卷积(Conv)层中,特征通道的数量被设置为32,并且滤波器大小为3*3,ReLU非线性部署在每个Conv层之后。
Network Architecture
对于采用16层U-Net架构,该架构将y和n(y)两者作为输入,以给予无噪声图像和预测的n(y)。引入对称跳跃连接、跨步卷积和转置卷积,以充分利用多尺度信息,扩大感受域。所有滤波器大小均为3*3,ReLU非线性应用于除最后一层之外的每个Conv层之后。
批量归一化对真实噪声图片去噪用处不大?部分原因是真正的噪声分布是从根本上不同于高斯,可以通过从早上观察到干净图像的直接映射来训练单个盲CNN去噪器。
利用盲去噪中的非对称敏感性,非对称的噪声估计损失,以避免在噪声水平图上发生估计不足的错误。
损失: 加了一个MSE损失,对地面实况和噪声估计做损失(欠估计误差施加更多惩罚)。引入一个总变差(TV)正则化来估计噪声水平的光滑性。
合成图像和真实的噪声图像可以被组合以提高对真实照片的泛化能力。
训练数据集
合成噪声图像:BSD500:400个图像,Waterloo:1600个图像,MIT-Adobe FiveK:1600个图像.
真实噪声图像:RENOIR:120张图像
估计噪声,从而反向生成噪声图像
训练的时候交替使用的批量合成和真实的噪声图像训练。
测试数据集
NC12:12个噪声图像,地面真实图像不可用,只报告定性评估的去噪结果
DND:50对真实噪声图像和相应的几乎无噪声图像,通过对低ISO图像进行仔细的后处理
Nam:11个静态场景。裁剪为512*512块,随机选择25块评估
采用ADAM 算法,β1 = 0.9。采用该方法中的方法进行模型初始化。小批量的大小为32,每个补丁的大小为128 × 128。所有模型都用40个epoch进行训练,其中前20个epoch的学习率为,然后使用的学习率来进一步微调模型。