图片来源网络

本期为大家推介的是北京理工大学李伟教授关于高光谱图像分类的深度卷积网络方法的报告-Deep Convolutional Neural Network for Hyperspectral Image Classification。

李伟教授曾在国内若干会议上介绍过系列新方法，在2019年第二届中国模式识别与计算机视觉大会（PRCV-2019）“遥感大数据与人工智能”专题论坛所做报告也曾引起国内外同行的广泛兴趣。

为便于图粉了解报告的精彩内容，南京理工大学计算机科学与工程学院肖亮教授作为本期微推的推荐专家，特别撰写了以下内容导读和推荐前言，文末还有图图为大家准备的PPT福利哟。

01

背景

高光谱遥感，作为成像技术与细分光谱技术有机结合的成像光谱遥感，可以获取在可见光到短波红外甚至中红外和热红外波段范围内纳米（nm）级光谱分辨率、光谱波段数多达百个的高光谱分辨率的连续、窄波段的图像数据，蕴含丰富的空间、辐射和光谱三重信息，被广泛应用于军事侦察、环境监测、地质勘探和深空探测领域。随着我国高分辨率对地观测系统的实施，特别是搭载纳米级高光谱相机的高分五号卫星的即将发射，高光谱遥感存在重大战略应用需求。其中一个关键应用是少量样本下的高光谱图像地物精细分类问题。

高光谱目标探测环境遥感   高光谱显微成像与医学应用   高光谱食品安全分析

02

科学问题与挑战性

高光谱图像同时包含了空间信息和光谱信息，其中光谱信息的分辨率很高，一般都达到纳米级别，而空间分辨率相对较低。高光谱图像分类问题是一个像素级别的分类问题，具体而言就是对图像中的每一个像素进行分类确认像素的类别。

高光谱图像分类大体上可以分为无监督分类和有监督分类(包含半监督分类)两种。无监督分类是指在没有预先标注数据标签的情况下对高光谱图像进行分类(聚类)，主要思想是依照能代表像素特点的特征信息(空间信息、谱信息及特征等)将相似的像素归为一类。有监督的分类指的是在有预先标注数据作为监督信号的情况下对高光谱图像进行分类，主要思想是利用有标注的数据学习像素特征信息与像素类别之间的内在关系，然后利用这种关系对没有标注的数据进行分类，确定像素类别。

图片来源网络

高光谱图像处理与分类识别存在如下特殊性与挑战性：

• 由于载荷平台颤振，成像光学系统调制传递函数引起的模糊降质、系统噪声、大气辐射和云层覆盖效应等退化，高光谱图像辐射信息质量下降和空间分辨率弱；同时高光谱空间分辨率低，其中“同物异谱”和“异物同谱”现象尤为明显，若单纯的利用光谱信息进行表示学习极有可能造成一些地物类型的误分。

• 大量高光谱图像人工标记分类样本很难获取，如何在少量训练样本下充分挖掘未标记数据与带标记样本之间的空间联系，提高监督分类的精度和普适性，是核心问题之二。

• 由于地物类别本身是分布非均衡的，高光谱图像分类面临严重的非均衡样本学习问题。

• 高光谱数据作为图谱合一的图像立方体，面临海量信息内涵的数据处理挑战。

03

基本研究趋势

由于高光谱波段数高，相关性强，传统依赖光谱特征的机器学习分类方法（如支撑向量机(SVM), 相关向量机（RVM）、神经网络、核方法、多项式逻辑回归(MLR)等及其变种）与训练样本个数存在Hughes现象，分类精度不高，对噪声、数据缺失等鲁棒性不强。为了改善传统光谱信息级监督分类的缺点，研究者提出系列基于监督分类方法。

近十年里，研究者已经提出了许多高光谱图像监督分类方法。这些方法可大致分为两类：基于光谱信息的方法和基于空-谱信息联合的方法。

在第一类方法中，大多数方法关注光谱数据的紧致表达和鉴别性特征抽取，进而提升子空间分类能力。代表性方法包括：主成分分析（PCA）、线性判别分析（LDA）、表示多核学习（RMKL）以及稀疏表示（Sparse Representation）等。但仅仅利用像元光谱信息，分类精度较低且不具有较好的噪声鲁棒性。

而第二类空-谱联合分类方法，由于能充分挖掘和利用高光谱图像内局部像元依赖关系，通过利用地物邻域内聚集属性提升小样本下的高光谱图像监督分类性能。代表性方法包括：空-谱组合核滤波器、核Hilbert空间嵌入、局部区域像元投票、空-谱小波特征联合马尔科夫随机场等。相较于仅利用光谱信息的方法，该类方法可大幅提升高光谱图像的分类精度。

此外，由于邻域像元块相较于单个像元所包含更多冗余信息，研究者还提出了结合低秩矩阵分解、字典学习等子空间学习分类方法。然而，由于传统模型的分类性能不理想以及适应性较差等原因，研究者逐渐引入了深度学习机制，以深度模型分布式特征表达能力替代传统人工设计的特征提取方式，以解决高光谱数据结构多样化及复杂噪声影响所带来的多种问题。目前，深度学习在高光谱图像分类领域中已取得了较好进展，其网络结构已经由1D、2D深度网络逐步发展到了3D深度网络。

图片来源网络

目前基于深度学习的高光谱图像监督分类是遥感领域中的热点之一。李伟教授针对该问题，创造性提出如下方法：

• 基于深度像素对特征（Deep Pixel-Pair Features）的分类方法；

• 多样性区域感知的卷积神经网络及其分类方法；

• 双分支通道Deep CNN的多源遥感数据分类；

• 基于逐块CNN的高光谱和激光雷达数据特征提取与融合分类方法。

04

专家报告内容速览

李伟教授首先以高光谱遥感图像的特征及应用前景、深度学习的发展历史为切入点展开报告主题的背景介绍。

精选内容1：基于深度像素对特征的分类方法

深卷积神经网络（CNN）是近年来研究的热点。在训练样本数足够大的情况下，该方法可以提供良好的高光谱图像分类性能。报告介绍了李伟教授团队提出的一种新的像素对方法，其优势在于实现训练样本的增扩，保证CNN的优势能够真正发挥出来。对于测试像素，由训练的CNN对中心像素和周围每个像素组合而成的像素对进行分类，然后通过投票策略确定最终标签。该方法利用深度CNN学习像素对特征，具有更强的分辨能力。多个高光谱图像数据集的实验结果表明，与传统的基于深度学习的方法相比，该方法能够获得更好的分类性能。并将此策略应用于高光谱异常目标探测中。

深度像素对特征

精选内容2：多样性区域感知的卷积神经网络

重点介绍所提出的一种基于不同区域的CNN分类框架，该框架可以对语义上下文感知表示进行编码，以获得有前途的特征。由于融合了一组不同的判别外观因素，因此基于CNN的表示具有空间光谱上下文敏感性，这对于精确的像素分类至关重要。该方法利用不同的区域输入来学习上下文交互特征，具有更强的识别能力。然后将包含丰富光谱和空间信息的联合表示反馈到完全连接的网络中，并由softmax层预测每个像素向量的标签。在高光谱图像数据集上的实验结果表明，该方法可以超越传统的基于深度学习的分类器和其他最新的分类器。

多样性区域感知的卷积神经网络

精选内容3：基于Deep CNN的多源遥感数据分类

报告汇报了我们所处的时代：多源遥感的大数据时代。随着一系列遥感数据源的出现，如何有效地利用多源数据中的有用信息进行更好的对地观测成为一个有趣而又具有挑战性的问题。综述了高光谱数据与LiDAR 数据的特点和融合应用，列举了高光谱数据与LiDAR 数据融合三个层次：数据融合、特征融合和决策融合。

我们处在多源遥感的大数据时代

报告综述了高光谱数据与LiDAR 数据的特点和融合应用

报告列举了高光谱数据与LiDAR 数据融合三个层次：数据融合、特征融合和决策融合

该部分核心内容是：报告利用二分支卷积神经网络（CNN）这一最新的深度学习方法，研究了高光谱图像（HSI）与其它多传感器数据（如激光测距（LiDAR）数据）的分类融合问题。首先介绍所提出的一种双分支CNN框架，用于从HSI中提取光谱空间特征，并设计了级联块CNN用于从激光雷达或高分辨率视觉图像中提取特征。在特征融合阶段，首先将HSI的空间特征和光谱特征集成到双通道分支（dual-tunnel branch）中，然后与从级联网络中提取的其他数据特征相结合。多个多源数据的实验结果表明，所提出的两分支CNN比现有的方法具有更高的分类性能。

双分支Deep CNN的多源遥感数据分类框架

精选内容4：基于逐块CNN的高光谱和激光雷达数据分类特征提取

由于高光谱图像（HSI）提供丰富的光谱信息，而光探测和测距（LiDAR）数据提供高程信息，将HSI和LiDAR数据结合使用可以获得更好的分类性能。报告介绍了所提出的一种无监督的高光谱与激光雷达数据协同分类的特征提取框架，称为逐块卷积神经网络（PToP-CNN）。更具体地说，为了从HSI到LiDAR数据中寻找一个精确的表示，首先开发了一个三塔PToP映射，目的是在两个不同的源之间合并多尺度特征。然后，通过对所设计的PToP-CNN的隐藏层进行整合，期望提取的特征具有深度融合的特性。因此，来自不同隐藏层的特征被连接到一个堆叠的向量中，并被馈送到三个完全连接的层中。实验结果表明，与现有的两分支CNN和上下文CNN等分类器相比，该方法具有更好的性能。

逐块卷积神经网络（PToP-CNN）框架

李伟教授认为，多源数据的融合能够很好的利用每类数据的优势特点，从而提高遥感的解译精度。

05

推荐理由

• 精选报告内容系李伟教授及其合作者的最新研究成果，部分为ESI热点论文。

• 科学问题背景、基础知识与前瞻性内容并重，相得益彰。

• 报告图文并茂，从动机到方法，深入浅出。

06

报告内容

07

关键参考文献

W. Li, G. Wu, F. Zhang, Q. Du, “Hyperspectral Image Classification Using Deep Pixel-Pair Features,” IEEE Transactions on Geoscience and Remote Sensing, vol. 55, no. 2, 844-853, Feb. 2017.

W. Li, G. Wu, Q. Du, “Transferred Deep Learning for Anomaly Detection in Hyperspectral Imagery,” IEEE Geoscience and Remote Sensing Letters, vol. 14, no. 5, 597-601, May 2017.

X. Xu, W. Li, Q. Ran, Q. Du, L. Gao, and B. Zhang, “Multisource Remote Sensing Data Classification Based on Convolutional Neural Network,” IEEE Transactions on Geoscience and Remote Sensing, vol. 56, no.2, pp.937-949, Feb 2018.

M. Zhang, W. Li, Q. Du, L. Gao, and B. Zhang, “Feature Extraction for Classification of Hyperspectral and LiDAR Data Using Patch-to-Patch CNN,” IEEE Transactions on Cybernetics, vol. 50, no.1, pp.100-111, January 2020.

推荐阅读

邱云飞, 王星苹, 王春艳, 孟令国. 应用级联多分类器的高光谱图像分类[J]. 中国图象图形学报, 2019, 24(11): 2021-2034.

http://www.cjig.cn/html/jig/2019/11/20191116.htm

刘万军, 尹岫, 曲海成, 刘腊梅. 提高小样本高光谱图像分类性能的变维卷积神经网络[J]. 中国图象图形学报, 2019, 24(9): 1604-1618.

http://www.cjig.cn/html/jig/2019/9/20190918.htm

李玉, 甄畅, 石雪, 赵泉华. 基于熵加权K-means全局信息聚类的高光谱图像分类[J]. 中国图象图形学报, 2019, 24(4): 630-638.

http://www.cjig.cn/html/jig/2019/4/20190413.htm

方帅, 祝凤娟, 董张玉, 张晶. 样本优化选择的高光谱图像分类[J]. 中国图象图形学报, 2019, 24(1): 135-148.

http://www.cjig.cn/html/jig/2019/1/20190114.htm

冉琼, 于浩洋, 高连如, 李伟, 张兵. 结合超像元和子空间投影支持向量机的高光谱图像分类[J]. 中国图象图形学报, 2018, 23(1): 95-105.

http://www.cjig.cn/html/jig/2018/1/20180110.htm

报告专家介绍

李伟，北京理工大学信息与电子学院教授，博士生导师，入选2017年度北京市科技新星计划，国家优秀青年科学基金获得者。2007年于西安电子科技大学获学士学位，2009年于中山大学获硕士学位，2012年于美国密西西比州立大学获博士学位，之后在加州大学戴维斯分校进行博士后研究，2013年5月至2019年2月工作于北京化工大学。

主要从事图像处理与模式识别研究，包括高光谱遥感图像处理、高光谱显微图像处理以及基于图像的特征提取、模式分类、异常检测、数据重构等。

E-mail:[email protected]

推荐专家介绍

肖亮，南京理工大学计算机科学与工程学院教授，博士生导师，工学博士。教育部高维信息智能感知与系统重点实验室副主任，江苏省光谱信息感知与系统重点实验室副主任。

从事计算机视觉、机器学习和光谱遥感信息智能感知与系统研发，在视觉目标检测-跟踪分析、高光谱遥感图像处理与智能分析、岩心矿物可视化填图等研发多个实用性系统。

E-mail:[email protected]

文章经过《中国图象图形学报》授权转载，禁止二次转载

“哪吒头”—玩转小潮流