卷积神经网络的高光谱图像分类方法范文

摘要：为解决在样本有限的情况下高光谱图像分类精度不高的问题，提出一种基于卷积神经网络的高光谱遥感图像分类方法。引入滤波、增加虚拟样本、标准化等预处理技术，使分类模型对地物样本种类和数量的敏感度降低；通过对梯度下降法和学习率计算方法进行优化，降低计算复杂度和计算时间；设计符合高光谱数据特点的网络结构，提高分类方法的泛化性。实验结果表明，与传统分类方法进行比较，该方法有较高的分类精度。

关键词：卷积神经网络；高光谱图像分类；虚拟样本；循环学习率；动量批处理梯度下降

0引言

高光谱遥感技术不仅可以获得被测物体的空间信息，还可以获得被测物体的光谱信息。因此高光谱图像具有“图像立方体”的形式和结构［1］。对于具有复杂特征的高光谱图像，简单的分类模型通常不能提取出各类地物的有效特征。深度分类架构在提取有效特征方面能够体现出优势。并且，深度结构学习特征时需要用的先验知识较少。卷积神经网络（convolutionalneuralnetworks，CNNs）是深度学习的一个重要分支，也是众多科学领域的研究热点，特别是在图像识别领域。在有大量训练样本和高性能GPUs的前提下，在许多视觉任务包括自然图像分类、目标检测、场景识别、人脸识别等，CNNs胜过其它传统方法甚至人工操作的效果。然而，相比之下目前将卷积神经网络用于高光谱图像分类的研究并不多。文献［2］中将卷积神经网络分类模型和超像素分割结合，分别用于提取光谱特征和空间特征，融合多特征后的分类效果优于只有单特征的分类效果。文献［3］中分别构造了一维、二维和三维卷积核的卷积神经网络，通过修改代价函数、加入Dropout层和用ReLU函数代替Sigmoid激活函数的方式对原始卷积神经网络进行改进，降低了网络复杂度，提升了收敛速度。最后提出了基于随机特征选择的卷积神经网络集成模型，提高了基于光谱信息的卷积神经网络分类模型的泛化能力。文献［4］中在卷积神经网络模型的基础上提出基于谱信息灰度图像的分类方法。实验结果表明，该方法略优于基于谱信息波形图的分类。以上文献中，对高光谱影像分类的实验结果均优于目前较为流行的基于核的支持向量机分类方法，说明将卷积神经网络用于高光谱图像分类是一个值得探索的研究方向。然而现阶段面临的挑战有：现有的卷积神经网络模型对高光谱数据分类任务中的样本种类和样本数量比较敏感，导致同一个网络不一定适用于所有数据集，泛化性能较差；卷积神经网络中参数的设置依然凭经验试错确定，花费时间较长；随着卷积神经网络层数和每层的特征数的增加，计算复杂度和计算时间也相应的大幅增加，这将极大限制方法的应用。本文提出一种卷积神经网络模型用于高光谱图像分类。设置了适合高光谱图像的网络深度和参数，控制模型复杂度的同时使该网络泛化性能较好。在循环学习率的设置和梯度下降法上做了改进，使损失函数更快收敛。实验结果表明，该方法能较好利用高光谱图像的光谱信息，与传统分类方法如K最近邻、逻辑回归和RBF－SVM等方法相比，分类精度更高，处理速度较快。

1卷积神经网络高光谱影像分类

首先输入三维的高光谱影像数据。受传感器影响，高光谱影像各波段都存在噪声［5］。因为影像的有效性很大程度上受其所包含的噪声影响，因此在分类之前先用维纳滤波进行降噪处理。对每个波段的图像进行滤波，之后对三维高光谱图像数据进行标准化。此时根据数据集各类地物样本数量选择样本数量极少的类别生成虚拟样本，补充到训练集。最后将经过预处理的高光谱影像数据输入到卷积神经网络进行分类。

1．1均值标准差标准化对原始数据进行标准化或归一化是分类前的一项基础工作。在卷积神经网络分类模型中，将输入数据用不同方法标准化到不同区间会产生差异较大的分类结果。原始图像每个像素的光谱反射值为几百到几千不等，数值跨度较大但不同类别地物像素谱线整体趋势相近差别不明显，并且数值较大时会为计算增加难度。本文采用均值标准差法，将三维高光谱图像数据的每一个波段的图像分别进行标准化。该方法使得每个像素的光谱曲线波动更为明显，波形差异变大，降低了计算复杂度，可以提升训练速度和分类准确率。

1．2虚拟样本以概率模型为基础的卷积神经网络采取大的样本数据量更能发挥它在高光谱影像分类中的优势。但是在实际应用中，获取大量高光谱遥感影像标注样本十分困难。比如本文实验用到的IndianPines数据集中16类地物样本分布不均，如果每类抽取10％的样本用于训练，那么第一类、第七类和第九类分别只抽到了5、2和2个样本。训练样本过少会限制卷积神经网络提取出有效的特征，最后影响分类精度。因此提出利用少量已标记的高光谱图像数据样本生成一定数量的虚拟样本，扩充训练样本集，提高分类方法的泛化能力，提高分类准确率。虚拟样本的思想最早由Poggio和Vette提出，之后在机器学习的小样本学习领域得到了广泛应用［6］。但在高光谱图像分类中提及的很少。

1．3卷积神经网络卷积神经网络（convolutionalneuralnetworks，CNNs）是由卷积层、池化层、全连接层组成的前馈神经网络［8］。输入原始图像，输出对特征进行分类后的结果。CNNs由一对或多对卷积层和池化层组成，最后连接全连接层。卷积神经网络的训练采用的是有监督训练方式。CNNs的特点：①局部感受野：每个特征图上的神经元只与上一层的一个小区域的神经元连接。②权重共享：同一个特征图的权值相同，使得参数的数量大大减少。③空间或时间上的子采样：在卷积层后的子采样层可以实现局部的均值化。它的非全连接和权值共享的网络结构减少了权值的数量，降低了网络模型的复杂度。子采样可以减少输出时关于平移和变形的灵敏度。卷积神经网络的这种结构可以对平移、旋转、比例缩放、倾斜或者其它形式的变形具有高度不变性［9］。基于卷积神经网络的高光谱图像分类首先对网络结构进行改进。通常多层的神经网络能够提取更加深层的特征，但是高光谱图像训练样本有限，层数的增加并不会使分类精度一直上升，而参数以及计算开销则会一直增大。因此本文在设置必要的层数的情况下，减小卷积核的长度来增加网络深度，达到深层学习的目的。图中b为输入的高光谱图像波段数，m为卷积核的长度，k为地物类别个数。网络输入为每个像素的光谱特征向量，第一个卷积层设置25个特征，卷积层的输出即为平均池化层的输入，池化后输入到第二个卷积层，第二个卷积层相当于一个全连接层，设置了300个特征，最后以概率值输出分类结果。在此结构框架下对卷积神经网络分类中的算法进行改进。

（1）循环学习率卷积神经网络中的可调参数众多，其中学习率是需要调节的一个重要参数。如果学习速率过小，则会导致收敛速度很慢。如果学习速率过大，则会阻碍收敛，即在极值点附近振荡。并且在实际应用中选择一个合理的学习速率需要经过多次实验。本文用循环学习率代替单一学习率，加快收敛速度，减少参数试错次数。循环学习率是通过简单的实验选定学习率上下边界后，将学习率设定在这一范围内以一定步长进行循环。

（2）动量批处理梯度下降法全量梯度下降法需要将完整的训练集学习一次后更新参数，其优点是可以保证梯度下降方向正确，从而使得函数最终收敛于极值点。但其缺点是时间成本过高，并且训练集越大消耗的内存空间越大，不利于实际应用。随机梯度下降法在计算效率上有明显提高，但是不能保证每次参数更新方向都正确，所以存在优化波动。由于波动，使得迭代次数增多，即收敛速度变慢。本文采用小批量梯度下降方法（mini－batch）。mini－batch梯度下降综合了全量梯度下降与随机梯度下降，使更新速度和更新次数达到平衡。小批量梯度下降比随机梯度下降收敛波动性低，即参数更新的方差低，因此更新更加稳定。小批量梯度下降比全量梯度下降学习的速度快、占用内存小。

2实验

本文选取AVIRIS和ROSIS传感器获取的高光谱影像作为实验数据集。数据集为公开的标准测试数据集，经过了大气校正等预处理，所有的地面真实值数据经过了数据提供者的实地调查和验证。下面对数据集进行简要介绍。

（1）IndianPines数据集IndianPines数据集是由机载成像光谱仪AVIRIS在美国印第安纳州西北部某农林混合室验场采集得到的。图像具有145×145像素以及224个光谱波段，波长范围0．4～2．5μm，空间分辨率25m，去除了覆盖区域水吸收的影响的24个波段，保留了其中200个波段，最后实验所使用的实际图像大小为145×145×200，包含了16个地物类别。

（2）PaviaUniversity数据集PaviaUniversity数据集是由成像光谱仪ROSIS在意大利西北部的帕维亚城市上空采集而来。图像具有610×340像素以及115个光谱波段，波长范围0．43～0．86μm，空间分辨率为1．3m，去除受噪声和水汽影响较大的波段剩余103个波段，包含了9个地物类别。用卷积神经网络模型对IndianPines数据集进行分类实验。抽取数据集中已标注样本的10％作为训练样本，每次实验训练集均为随机抽取，剩下的90％为测试样本。训练样本数和测试样本数见表1。将原始数据进行维纳滤波，然后进行标准化，此时经过预处理的数据作为输入层的数据，输入每个像素为1×200的列向量。经过第一层卷积层，卷积核大小为1×3，特征数设置为25，采用ReLU激活函数，此时每个像素经卷积层输出为25个1×198的列向量。卷积层的输出作为平均池化层的输入，平均池化层窗口大小为1×2，经过这一层后每个像素输出为25个1×99的列向量。之后输入到第二个卷积层，卷积核大小为1×99，设置300个特征数，第二个卷积层起到相当于全连接层的作用。最后连接到softmax进行分类，该数据集有16类地物，因此设置为输出16类。网络训练中循环学习率上界为0．07，下界为0．001，学习率循环步长为500。梯度下降中动量系数初始设置为0．5，更新100次后设置为0．95。训练共迭代58次，30个样本更新一次参数。

3结束语

本文提出基于卷积神经网络的高光谱图像分类方法，通过IndianaPines数据集和PaviaUniversity数据集进行分类实验，并与传统分类方法如KNN、LR和RBF－SVM等比较。结果验证了先进行维纳滤波可以达到降噪的目的，提高分类精度；基于卷积神经网络的高光谱图像分类方法在神经网络的结构和算法上改进后，分类精度优于传统方法KNN、LR和RBF－SVM等；在计算时间上本文方法与当前流行的分类方法基本持平。在目前研究的基础上，加入高光谱图像的空间信息或进一步对网络结构和算法进行改进是下一步研究的方向。

作者：路易1；吴玲达2；朱江1 单位：1．装备学院研究生管理大队，2．装备学院复杂电子系统仿真实验室