美章网 资料文库 无人机航拍视频中目标检测与跟踪研究范文

无人机航拍视频中目标检测与跟踪研究范文

时间:2022-11-08 11:27:48

无人机航拍视频中目标检测与跟踪研究

《飞航导弹杂志》2016年第9期

摘要:

目标检测和跟踪技术是无人机航拍领域的重要研究方向。总结了无人机航拍视频中目标检测和跟踪的常用方法并对其进行了分类。分析了各类别的优缺点,并讨论了无人机航拍视频中目标检测与跟踪的难点及未来发展趋势。

关键词:

无人机;目标检测;目标跟踪;航拍

引言

无人机又称为无人驾驶飞行器,是一种具有遥控、自动、半自主、全自动飞行能力的飞行器。常见的无人机主要分为固定翼无人机、直升机和多旋翼无人机。2010年前,固定翼无人机和无人直升机在航拍领域占据了主流地位,然而,在近几年中,随着控制技术、传感器技术和计算机视觉领域的快速发展,多旋翼无人机成为了航拍领域的新星,尤其是四旋翼无人机和八旋翼无人机受到了航拍领域的青睐,其模型如图1所示。多旋翼尤其是四旋翼无人机之所以受到广泛关注和应用主要是因为有以下特点[1]:操控简单,四旋翼无人机可以实现垂直起降,不受场地的限制,飞行过程中动作灵活并可实现空中悬停;便于携带,旋翼无人机具有体积小、便于携带且操作灵活等特点;经济实惠,多旋翼无人机最大的优点就是成本低,所以,受到广泛应用。目标检测与跟踪技术作为计算机视觉领域的关键技术,受到了各界学者的广泛关注。在无人机航拍领域中,为了实现追踪拍摄,目标检测和跟踪必不可少。因此,目标检测和跟踪技术是无人机航拍领域的重要研究方向[2]。另外,航拍视频中由于画面较大,目标在场景中所占面积较小,背景复杂,目标易发生尺度、旋转、光照和遮挡干扰以及相机抖动等影响,航拍视频中目标的检测和跟踪变得尤为复杂,检测和跟踪工作变得更加困难。本文主要就无人机航拍视频中的目标检测和跟踪技术展开讨论,对目标检测和跟踪算法的分类、优缺点和应用范围进行总结,并对航拍视频中目标检测和跟踪算法的难点和发展趋势加以讨论。

1无人机航拍视频目标检测技术

对无人机航拍视频中的目标进行跟踪时,首先需要对目标进行检测,目标检测的准确与否会直接影响后续对目标的处理,所以,目标检测技术在无人机航拍视频目标的检测和跟踪系统中起到了至关重要的作用。目前,运动目标检测算法相对来说比较成熟,可应用于无人机航拍视频的目标检测算法主要有以下几种:

1)帧间差分法。主要通过连续两帧相同位置像素点间的灰度差来确定目标的移动,算法操作简单,易于实现,但是,该算法只适用于静态背景和目标单一条件下的目标检测,所以,应用于无人机航拍视频的目标检测时,只适用于无人机悬停状态下的运动目标的检测,应用范围有限。

2)背景差分法。其原理是通过预先设置背景,然后通过对检测图像和预设背景作差的方式提取目标。该方法能够得到较为完整的目标图像并且能够满足实时性要求。但是,在实际背景与预设背景相差较大或者实际检测过程中发生明显光照变化的情况下,该方法检测精度会下降较大。所以,该算法同样只适用于无人机悬停状态下的目标检测。

3)光流法。该方法将光流作为灰度像素点在图像上的瞬时运动场,从而实现对目标的跟踪。该方法根据原理主要分为四类:基于梯度的方法、基于匹配的方法、基于能量的方法和基于相位的方法。光流法的工作流程为:首先,在图像中等间隔选取光流点;其次,计算光流点的运动矢量(常用HS法和LK法等);最后,根据运动矢量检测运动目标。与前两种方法相比,由于光流场能够反应像素点的灰度运动情况,所以,光流目标检测法能够进行动态背景下的目标检测。

4)特征匹配法。主要通过提取待检测目标的特征(角点特征、颜色特征等)建立目标模板,然后在实时视频中通过检测图像中的特征图目标模板进行相似性判别,从而实现目标的检测。目前常用的特征匹配算法有SIFT[6]、SURF[7]、BRISK[8]和FREAK[9]等。特征匹配法是目前应用最为广泛的目标检测和识别算法。其不但可以检测出目标,同时可以实现对目标进行识别,并对目标的尺度、旋转、光照和遮挡等具有较好的鲁棒性。特征匹配算法既适用于动态背景的目标检测,也适用于静态目标的检测。

2无人机航拍视频目标跟踪技术

目标跟踪技术是通过确定视频连续帧中目标的位置和大小来实现的,主要的跟踪方法主要有以下几种。

2.1CamShift算法[10]

CamShift算法是对MeanShift算法的改进,是由Bradski提出的连续自适应漂移算法。MeanShift算法是一种基于核密度估计的非参数模式匹配算法。首先,手动选取待跟踪目标区域,使用MeanShift颜色直方图信息作为模板,再对下一帧图像的颜色直方图提取,进行匹配,通过计算相似度获得相似度密度分布图,图中的极值位置即为目标的位置。由于MeanShift算法模板不能实现实时更新且在跟踪过程中核函数带宽固定不变(跟踪窗口固定不变),所以,当目标发生尺度变化或外界干扰时,会造成跟踪目标不准确或者跟踪目标丢失的现象。Cam-Shift算法是将视频中的每一帧都进行MeanShift运算,不仅可以实现对目标模板进行更新,也可以实现自动调节跟踪窗口大小的功能。CamShift算法流程大致分为以下几步:

1)将图像从RGB空间转化为HSV空间,此步骤的主要目的是为了减小跟踪过程中光照的影响;

2)目标初始化,手动选取目标的位置和大小并提取目标区域的H分量的直方图;

3)计算图像反向投影,认为反向投影图中像素点亮度越大,其为目标区域的概率就越大;

4)利用MeanShift算法进行迭代运算,移动搜索窗口的中心到迭代的最大位置;

5)调整搜索窗口的大小;

6)重复步骤3~5,直至视频最后一帧。算法的具体流程图如图2所示。

2.2卡尔曼滤波算法[11]

卡尔曼滤波算法是一种小方差最佳线性递推方法,通过当前目标信息可实现对下一帧目标位置进行预测,从而实现目标的跟踪。卡尔曼滤波算法是通过状态方程和预测方程两个方程实现的,状态方程可实现对系统的状态进行客观描述;预测方程可实现系统对下一时刻状态的预测。其工作原理如图3所示。

2.3粒子滤波算法[12]

粒子滤波的实质是用带有权值的粒子表示后验概率,这些粒子随着目标模型的移动而移动,最后与目标模板进行匹配并更新权值,这些粒子的状态加权即为后验概率。粒子滤波一般可分为4个步骤:1)采样:在系统的状态空间中随机采集粒子并对其进行加权,以反映目标的状态;2)重采样:为了防止粒子退化的现象,保留权值较大的粒子,减少权值小的粒子;3)状态转移:粒子滤波利用状态转移目标在下一时刻的状态,即可得到新的粒子;4)系统观测:利用观测数据来推算粒子的权值,从而得到概率密度函数。算法具体流程如图4所示。

2.4特征匹配算法[13]

基于特征匹配的目标跟踪是采用目标的局部特征信息,通过特征匹配来进行跟踪的算法。目前常用的特征匹配算法有SIFT、SURF、ORB、BRISK和FREAK等。基于特征匹配的目标跟踪算法可分为4步:特征点检测;特征描述;特征点筛选;特征点匹配。跟踪算法的具体流程如图5所示。四种常用算法的原理和优缺点如表1所示。

3无人机航拍视频目标检测和跟踪技术难点

航拍视频中目标的检测与跟踪要想达到良好的效果,首先必须能够准确检测出目标的位置;其次要对检测出的目标进行持续、准确跟踪。当目标受到外界背景和遮挡等干扰时,具有较好的抗干扰性,并在通过干扰时能够具有迅速恢复跟踪的能力。目前,无人机航拍视频的目标识别和跟踪主要面临如下问题:

1)光线的变化。室外无人机航拍过程中避免不了光线的变化,光线的亮度变化使总体环境和跟踪目标的颜色、亮度等特征都会随之改变,对目标检测和跟踪产生影响。

2)复杂背景。航拍视频具有大视场、大广角的特点,所以,航拍视频具有信息量大、背景复杂、视场不确定性和目标在视场中占据面积较小等特点。目标容易受到复杂背景和相似目标的干扰,这种不确定性因素对航拍过程中的目标检测和跟踪会造成较大干扰。

3)目标尺度、旋转问题。无人机航拍视频中,由于无人机飞行高度、飞行角度和飞行方向等问题,非常容易造成目标的尺度变化和旋转变化。当尺度和旋转变化范围较大时,会造成识别和跟踪算法精度显著下降。

4)目标遮挡。在无人机航拍视频中,目标会经常出现被外界事物遮挡的情况,这对目标检测和跟踪算法会产生较大影响,当目标受到严重遮挡时,甚至造成目标检测无法实现、目标跟踪失败等问题。

4无人机航拍视频目标检测与跟踪展望

随着无人机航拍领域的快速发展,航拍视频的目标检测与跟踪技术必然会得到快速发展,在未来将有以下2个方面的发展特点:1)向着实时性更强的方向发展。随着计算机运算能力的发展和算法的不断创新和改进,目标检测和跟踪的快速性会不断提高,满足实时性的需求。2)向着鲁棒性更强的方向发展。衡量目标检测和跟踪性能好坏的一个重要因素就是算法的鲁棒性。未来目标检测算法发展的一个重要目标就是运用较少的信息,就能够实现准确的目标检测和跟踪,并对外界干扰具有较高的鲁棒性。

5结束语

本文详细介绍了无人机航拍视频目标检测和跟踪的常用方法,分析了各方法的基本原理、优缺点和适用范围,最后指出了研究难点和发展趋势,相信通过各界学者的共同努力,无人机航拍视频目标检测和跟踪将会发生巨大的飞跃。

参考文献:

[1]朱玮.基于视觉的四旋翼飞行器目标识别及跟踪.南京:南京航空航天大学学位论文,2014

[2]李文辉.航拍视频中运动目标的检测与跟踪算法研究.西安:西安电子科技大学学位论文,2014

[3]林雯.新型基于帧间差分法的运动人脸检测算法研究.计算机仿真,2010,27(10)

[4]汪国强,盖琪琳,于怀勇,等.基于背景差分法的视频目标检测算法研究.黑龙江大学工程学报,2014,5(4)

[5]吴振杰.基于改进光流法的运动目标检测与跟踪系统.郑州:郑州大学学位论文,2012

[10]王巍,孟朝晖.一种改进的CamShift目标跟踪方法.信息技术,2015(1)

[11]瞿卫欣,程承旗.基于Kalman滤波的CamShift运动跟踪算法.北京大学学报(自然科学版),2015,51(5)

[12]李忠海,王莉,崔建国.基于CamShift和ParticleFilter的小目标跟踪算法.计算机工程与应用,2011,47(9)

[13]邓集洪,魏宇星.基于局部特征描述的目标定位.光电工程,2015,41(1)

作者:刘亚伟 李小民

被举报文档标题:无人机航拍视频中目标检测与跟踪研究

被举报文档地址:

https://www.meizhang.comhttps://www.meizhang.com/shekezazhi/fhddzz/699543.html
我确定以上信息无误

举报类型:

非法(文档涉及政治、宗教、色情或其他违反国家法律法规的内容)

侵权

其他

验证码:

点击换图

举报理由:
   (必填)