超分辨率的素描人脸识别范文

《中国图象图形学报》2016年第一期

摘要:

目的基于学习的超分辨率重建由于引入了先验知识，可以更好地描述图像的细节部分，显著地增强图像的分辨率，改善图像的视觉效果。将超分辨率重建应用在素描人脸识别中，既可以增加人脸图像的质量也可以有效地提高识别精度。方法首先利用特征脸算法根据素描图像合成人脸灰度图像，然后对合成的人脸图像利用稀疏表示进行超分辨率重建，最后利用主成分分析对重建前后的合成人脸分别进行识别。结果在香港中文大学的素描人脸库(CUFS)上进行实验。经过超分辨率重建之后的人脸在眼睛等部位细节描述更好。同时，由于重建过程中引入了先验知识，重建之后的素描人脸识别率有提高。支持向量机算法得到的识别率由重建前的65%提高至66%，本文利用的主成分分析算法得到的识别率由重建前的87%提高至89%。结论基于超分辨率重建的素描人脸识别算法可以有效地改善合成人脸图像的视觉效果并且提高素描人脸识别精度。

关键词:

素描人脸识别;超分辨率重建;稀疏表示;特征脸;字典学习

近几年，计算机自动检索识别技术不断成熟和完善，在公安执法、视频监控、银行安保等领域的应用也越来越广泛［1-4］。素描人脸识别技术可以根据绘画的素描图像在警方数据库中对相近人脸图像进行自动检索，从而有效地帮助警方缩小或者确定潜在嫌疑人，因此一直是刑侦领域的研究热点。素描图像与真实的人脸照片最大的区别是素描图像具有夸张性，它往往会夸张地表示人面部的某处细节。比如说一个人的鼻子比较大，画师在绘画过程中可能将其的鼻子描绘得更大一些。这对人的主观认知很有帮助，但是对于计算机自动识别，这种夸张性使得传统的人脸识别方法在素描人脸领域的应用效果不尽如人意。目前素描人脸识别方法可以主要分为两大类，基于特征的识别［5-7］和基于转换的识别［8-12］。利用提取的不同特征进行素描人脸识别可以解决素描人脸图像与真实人脸照片之间的结构差异问题。基于转换的素描人脸识别方法将素描图像与人脸照片统一到一个空间中，同样也可以解决由于素描夸张性产生的二者之间结构差异。本文在Tang等人［10-12］提出的素描人脸识别算法的基础上，加入了超分辨率重建方法。对转换的人脸图像进行超分辨率重建，可以在不增加额外设备的条件下，有效地增加图像的分辨率提高图像视觉效果。同时，由于重建过程中引入了先验知识，重建的人脸图像在面部细节部分描述得更好，比如眼睛鼻子等，因此加入超分辨率重建的素描人脸识别率较之前也有所提高。

1素描人脸转化

特征脸算法是一种经典的人脸识别方法并且被广泛应用。它可以有效地对多维数据进行降维，实现高速运算。虽然特征脸算法对表情、光照和旋转角度较敏感，但是在刑侦领域中使用的素描图像和人脸照片通常是标准正面人脸图像，所以效果并不受影响。这里将特征脸算法应用在素描人脸转换中。根据素描图像和人脸图像的内部结构相似性，可以认为合成的Pr是一幅接近于真实人脸的人脸图像。对于这样一个合成过程，在合成素描过程中所占权重值大的素描训练图像其对应的人脸图像在合成人脸图像过程中所占的权重值也大。利用素描图像和训练集合成一幅对应人脸图像，可以有效解决素描图像与人脸图像之间的结构差异性。

2合成人脸图像的超分辨率重建

根据素描图像合成的人脸图像在刑侦领域往往需要进行进一步的观察和匹配检索。然而合成后的人脸图像存在着细节较为模糊，分辨率较低等不足。超分辨率重建在不需要引入额外设备的情况下，可以有效地提高图像的分辨率，改善图像的视觉效果。超分辨率重建算法现在大致可以分为两类，基于重建［13］和基于学习［14-20］。基于学习的超分辨率重建算法由于对训练样本的学习，引入了先验知识，对图像的细节信息恢复较好，从而可以在更好刻画人面部细节的同时有效增加素描人脸识别的精度。研究表明［14］，图像块可以由一组超完备字典中的原子线性组合很好地表示。利用这个性质，对合成的人脸图像在一个过完备字典下寻找一个稀疏表示，然后利用这个稀疏表示重建出高分辨率的图像。

2．1基于稀疏表示的超分辨率重建X和Y分别表示高分辨率图像和对应的低分辨率图像，二者之间的关系为根据图像的稀疏表示理论，对于由训练集中的图像训练得到的过完备字典D，存在唯一的最稀疏表示z与图像块x相对应。

2．2低分辨率图像块的特征表示通常情况下，人们对于低分辨率图像块的特征提取使用的是高通滤波器。这是因为人们对于图像中的高频分量往往更敏感。低分辨率图像块中的高频分量对于预测目标高分辨率图像中丢失的高频分量部分十分关键。对于特征的提取，不同文章中使用了不同的方法。Freeman等人［21］采用了高通滤波器来提取低分辨率图像的边缘信息作为特征。Sun等人［22］采用了高斯滤波器来提取低分辨率图像块的轮廓信息。高涛等人［23］采用了一阶和二阶梯度作为特征。由于一阶二阶梯度信息获取的便捷性和有效性，在这里也选择作为低分辨率图像块的特征。

2．3联合字典学习训练集中的图像块x和y分别表示的是高低分辨率图像的图像块。联合学习高低分辨率图像块的字典可以使得高分辨率图像块的稀疏系数在相应的低分辨率图像块中保持一致。这样，就可以在超分辨率重建的过程中对于高低分辨率的两个字典进行相同策略的学习，从而保证了低分辨率图像块在字典Dl中的稀疏系数与相应高分辨率图像块在字典Dh中的稀疏系数是一致的。

3素描人脸图像识别

人脸识别是一种基于生物特征的识别技术，吸引着越来越多研究者的兴趣与关注，同时关于人脸识别技术的研究也非常广泛［24-25］。主成分分析是一种经典的人脸识别方法，并且已经被广泛应用。在第1节中，为了将素描图像转换成一幅相应的人脸图像，在训练集中分别构建了素描人脸空间Us和特征人脸空间Up。对于合成的人脸图像Pr进行基于稀疏表示的超分辨率重建可以得到P'r。将超分辨率重建后的合成人脸图像P'r映射到特征脸空间中，可以得到一个权重系数。因为这里d反映的是超分辨率重建之后的合成人脸与真实人脸图像之间的接近程度，d越小表示超分辨率重建的合成人脸图像与真实人脸图像越接近。因此，将d作为人脸识别的判别条件。将超分辨率重建后的合成人脸图像与测试集中的100幅真实人脸图像分别进行主成分分析，欧氏距离最近的认为两幅图像来自同一人。

4实验结果与分析

为了验证本文超分辨率重建的素描人脸识别算法的有效性，在香港中文大学的素描人脸数据集(CUFS)上进行了实验。CUFS数据集中包含188位学生的人脸信息，每位同学有一幅真实的人脸图像和一幅与之对应的由专门画师绘制的素描人脸图像。素描人脸转换过程中，选择了88幅人脸照片和与之对应的88幅素描人脸图像作为训练集，其余100位学生的素描图像作为测试集，与之对应的100幅真实人脸照片用于测试超分辨率重建后的合成人脸的识别率。首先利用特征脸算法对训练集中的数据分别进行训练得到一个素描特征脸空间Us和一个特征脸空间Up。将测试的素描图像映射到特征素描空间，得到一组权重向量bs。

利用计算出的这个权重向量bs和特征脸空间Up，可以计算得到一幅近似的合成人脸图像Pr。图1展示了使用特征脸算法实现素描人脸转化的效果。为了更好地展示合成人脸图像的细节信息，将合成的人脸图像进行基于稀疏表示的超分辨率重建。由于超分辨率重建过程中的字典训练过程引入了先验知识，所以重建后的人脸图像可以有效地克服之前的合成人脸图像细节较为模糊，分辨率较低等不足。图2展示了使用基于稀疏表示的超分辨率重建算法重建的合成人脸图像的实验效果。细节部分，经过超分辨率重建的人脸图像在眼睛等部位的效果优于直接使用双三次插值算法放大的图像效果。同时，图3中展示了超分辨率重建前后，合成人脸图像的灰度直方图信息。可以看出超分辨率重建之后，同一人脸图像的分辨率有效增加了，同时重建前后人脸图像的灰度直方图包络相似，并且合成人脸灰度信息的极值部分经过超分辨率重建之后更平滑更接近于包络线。这一平滑过程是由于重建过程中，字典学习引入了先验知识，也更符合真实的人脸图像。

结构相似性(SSIM)是一种衡量两幅图像相似度的指标，其值越大表示两幅图像之间的结构越近似，最大为1。均方根误差(RMSE)是用来衡量观测值同真值之间的偏差。其值越小表示合成的图像越接近真实图像，最小值为0。表1展示了超分辨率重建前后合成人脸图像与真实人脸图像之间的结构相似性和均方根误差。为了验证提出算法的有效性，在香港中文大学素描人脸数据集上对超分辨率重建前后的人脸图像采用主成分分析分别进行人脸识别。支持向量机SVM(supportvectormachine)是一个有监督的学习模型，在人脸识别领域中已经被广泛应用。同样也对超分辨率重建前后的合成人脸图像采用SVM算法进行识别，实验结果作为对比结果。在CUFS数据集中，选取88幅人脸照片及其对应的素描画像作为训练集，剩余的100幅人脸照片及其对应的素描画像作为测试集，实验结果如表2所示。表2中，超分辨率重建前的测试图像是Tang等人［10］提出的素描人脸识别算法得到的合成人脸图像，超分辨率重建后的测试图像是根据本文提出的算法进行实验得到的。由于对合成人脸图像进行超分辨率重建的过程中，字典学习引入了先验知识，所以重建后的合成人脸图像在细节部分表示得更好，识别率有所提高。

5结论

针对Tang等人［10］提出的素描人脸识别算法中合成的人脸图像存在细节较为模糊，分辨率较低等不足，考虑到超分辨率重建可以有效增强图像的分辨率改善图像的视觉效果，本文算法首先利用特征脸算法将一幅素描图像转化成一幅人脸图像，然后使用基于稀疏表示的超分辨率重建算法对合成的人脸图像进行超分辨率重建，最后利用主成分分析，将重建后的合成人脸图像与真实的人脸图像之间的差异作为评判标准，实现对素描人脸图像识别率的检测。在香港中文大学素描人脸数据集上的实验结果表明，本文算法不仅有效增强了合成人脸图像的质量，同时经过超分辨率重建的合成人脸图像在识别率上也有提高。本文算法除了素描图像亦可以应用在人脸画像与其他模拟画像等方面。

作者：赵京晶 方琪 梁植程 胡长胜 杨福猛 詹曙 单位：合肥工业大学计算机与信息学院 三江学院