【论文精读】Deep Color Consistent Network for Low-Light Image Enhancement 用于低光照图像增强的深度颜色一致网络

提出一种新的策略——>保持LLIE的颜色一致性，提出一个DCC-Net——>减少增强图和ground-truth之间的色差。是第一个直接通过探索颜色一致性来增强光照的工作。
提出解耦合策略（将彩色图像解耦合为灰度图and颜色直方图）——>既保持颜色一致性，又能增强光照。为DCC-Net设计三个子网络G-Net、C-Net、R-Net，如图2所示，G-Net——>恢复灰度图以提供丰富的结构和纹理信息；C-Net——>学习颜色分布以助于保持颜色一致性；R-Net——>混合灰度图和颜色信息以重建正常光图像。
设计PCE——>解决颜色直方图缺少空间信息的问题。PCE由6个金字塔结构的颜色嵌入（CE）子模块构成。CE——>根据颜色和内容特征的亲和力来匹配它们，可以动态地合并颜色信息，进一步减少增强图像和ground-truth之间的色差。

2. Related work

2.1. 传统方法

2.1.1. 基于HE的方法

改变图像的动态范围来提高对比度

注重增强对比度而不直接细化照明，会由增强不足或过度增强的现象

2.1.2. 基于视网膜的方法

将图像分解为反射率和光照强度的像素级乘积，如式（1）:

S：一张图片

R：相应的反射率

I：相应的光照强度

进一步处理反射率和光照强度，可得到增强结果。

该方法旨在估计光照强度，这是手工的并且依赖于大量的调参工作，最终结果常存在颜色不一致和噪声现象。

2.2. 基于深度学习的方法

通常能超越传统方法。根据是否使用配对数据（即用一场景下的degraded图片和ground-truth图片）可分为3类：监督、无监督和半监督方法。

2.2.1. 有监督

所有的训练数据是配对的

没有解决颜色不一致的问题

可进一步分为基于视网膜的方法和端到端的方法

（1）基于视网膜的方法

用深度学习将图像合成反射率和照明度，例如：RetinexNet分为两步，第一步将图片分解长反射度和照明度，第二步调整照明图。基于KinD和KinD++的RetinexNet模型，包含分解网络、重建网络和调整网络。

（2）端到端的方法

不用分解图片，直接处理低光照图像，例如：LLNet使用深度自动编码器，基于CNN的深度LLIE模型。

2.2.2. 无监督/半监督

现实中很难获得成对的数据，无监督/半监督学习用来缓解此问题，例如：

Yang等人提出deep recursive band network，该方法使用成对的和不成对的低光/自然光照图像获取一个增强自然光图像线性带特征
Jiang等人提出一个无监督学习的方法，该方法用生成对抗网络（GAN）为主要框架
还有很多zero-short方法，它们的输入只包含低光照图像

解决了无配对数据或只有部分配对数据的问题，但是增强质量非常有限

3. Proposed Method

DCC-Net有三个子网络（G-Net，C-Net，R-Net）和一个PCE模块。

图2 我们DCC-Net的整体框架。可以看出，共有三个子网：G-Net、C-Net和R-Net，其中G-Net旨在恢复内容信息丰富的灰度图像，C-Net侧重于学习颜色分布， R-Net结合灰度图像和颜色信息来恢复自然且颜色一致的正常光图像

3.1. Network Structure

3.1.1. G-Net

（1）作用

预测正常光图像的灰度图像

包含丰富的结构信息and纹理信息
无颜色信息

（2）公式

$G_{pre}$ ：预测出的灰度图像

$S_{low}$ ：输入的低光照图像

GNet：G-Net的变换

（3）G-Net

使用编码-解码pipeline，和U-Net相似

使用 $l_{1}$ 损失来重建灰度图像，如式（3）所示

$l_{g}$ 是灰度图像重建损失

$G_{high}$ 是正常光照图像的灰度图

H和W分别是灰度图像 $G_{high}$ 的长的和宽度

3.1.2. C-Net

（1）颜色直方图

是一种颜色特征，被广泛用在图像检索系统中
主要描述了不同颜色在整张图片中所占的比例，不考虑颜色的空间位置

C-Net计算RGB颜色空间的颜色直方图。该直方图是一个矩阵，大小为N×256，N=3对应三个颜色通道（R、G、B），256对应像素值的范围

（2）方法＆作用

①为了颜色特征的学习，设计基于颜色直方图的C-Net，获取与自然光照图一致的颜色特征，如图2所示。

②使用编码-解码pipeline，将输入的低光照图像转化为预测的颜色直方图，公式如下：

$C_{pre}$ ：获取到的颜色直方图

CNet：C-Net的计算过程

③使用 $l_{1}$ 损失来限制C-Net，损失函数公式如下：

$l_{c}$ 是颜色直方图重建损失

$G_{high}$ 是正常光照图像的颜色直方图

3.1.3. R-Net

（1）作用

混合通过G-Net和C-Net获得的灰度图和颜色直方图来协作地重建自然光照的图像。

（2）方法

①融合灰度图和颜色直方图获得自然光照图，公式如下：

$S_{pre}$ ：增强的图片

②为了重建像素水平的自然光照图像，使用颜色图像重建损失 $l_{r}$ ，公式如下：

N、H和W：分别是自然光照图像 $S_{high}$ 的通道数量、高度和宽度。

③在结构层面，采用ssim损失作为约束，公式如下：

相似函数 $SSIM\left ( \cdot \right )$ 如下：

$x,y\in \mathbb{R}^{H\times W\times 3}$ ：被测量出的两张图片

$\mu _{x},\mu _{y}\in \mathbb{R}$ ：两张图片的平均值

$\sigma_{x},\sigma _{y}\in \mathbb{R}$ ：两幅图像对应的方差

$\sigma_{x},\sigma _{y}\in \mathbb{R}$ ：两个常量参数，可以防止分母为0

$l_{tv}$ ：总变差损失也被用作正则化项，来保持增强图像的平滑度

3.2. Pyramid Color Embedding (PCE)

作用：将颜色信息动态的嵌入到R-Net中，如图3所示

PCE组成：PCE有金字塔结构的六个颜色嵌入模块（CE）

CE组成：主要是双亲和力矩阵（DMA），解决信息不匹配的问题

图3 金字塔颜色嵌入（PCE）和颜色嵌入（CE）模块的详细结构，其中表示逐元素乘法，⊕表示逐元素加法，⊗表示上采样操作。

3.2.1. Dual affinity matrix

（1）作用：

解决信息错误匹配的问题，获取更好的颜色信息嵌入

（2）方法：

CE：可以根据颜色和内容特征之间的亲和力动态的将颜色特征合并到R-Net

DAM：计算亲和力矩阵来匹配颜色和内容特征，进一步防止增强图像产生不一致的颜色

①DAM先计算每个位置的Manhattan距离和C与F之间的内积，公式如下：

C：颜色特征，大小为N×H×W

F：内容特征，大小为N×H×W

$F\left ( x,y \right ),C\left ( x,y \right )\in \mathbb{R}^{N}$ ：表示向量F和C的位置（x, y）

$M,P\in \mathbb{R}^{N}$ ：是Manhattan距离矩阵和内积矩阵

②计算双亲和矩阵，公式如下所示：

$tanh\left ( \cdot \right ), sigmoid\left ( \cdot \right )$ ：是tanh函数和sigmoid函数

$M\left ( (x,y)) \right )\leq 0$ ：每个位置（x, y）都满足该条件，因此 $sigmoid\left (M\right )\in \left [ 0, 0.5 \right ]$

A：双亲和矩阵， $A\in \left [ 0, 1 \right ]$

3.2.2. Color embedding

CE：用来获取动态颜色嵌入，结构如图3所示

①计算A与C的主元素乘积，加权后的颜色特征与内容特征F相加得到颜色信息嵌入特征

E：R-Net解码器中使用的输出特征

②有一个上采样操作来改变C的分辨率，谭厚进一步输送到下一个CE做为原始颜色特征。

3.2.3. Pyramid structure

该结构将颜色特征嵌入六层中，该设计可以充分利用色彩信息，可以使颜色一致性更佳

PCE从浅到深各层得到的特征描述如下：

$C_{i}, F_{i}, E_{i}$ 分别是颜色特征、内容特征和输出特征

$CE\left ( \cdot \right )$ 是CE的变换

3.3. Objective Function

DCC-Net的目标函数如下所示：

$\lambda _{g}, \lambda _{c}, \lambda _{r}, \lambda _{ssim}, \lambda _{tv}$ ：是几个权衡参数

$l_{g}, l_{c}$ ：分别用来恢复灰度图像和颜色直方图

$l_{r}, l_{ssim}$ ：用于在像素和结构级别重建常光图像

$l_{tv}$ ：正则化项，用于防止过拟合并保持平滑度