论高效的胃镜图像肿瘤跟踪算法范文

摘要：实时精确跟踪胃镜下病灶是医学检查与诊断中的重要步骤。由于胃镜检查需要尽可能的快，从而减少患者的不适，因此，肿瘤目标的跟踪需要具备实时性，此外，在保证速度的同时，需要更加准确的跟踪肿瘤目标。本文根据胃镜下肿瘤特征，利用SURF(SpeededUpRobustFeatures)特征和模板匹配跟踪的算法对肿瘤进行跟踪，通过对匹配的特征点去除误匹配点，从而提高跟踪定位精度。在SURF匹配跟踪算法中，利用匹配特征点的聚类中心及包围这些点的最小圆的位置衡量每帧跟踪效果。本文对两组胃窥镜下病灶的视频帧进行了跟踪试验，实验结果表明，改进的基于SURF匹配跟踪的算法稳定性和跟踪精度较好。

关键词：SURF；模板匹配；肿瘤；跟踪

0引言

肠道肿瘤是临床上较为多见的一类疾病，如：小肠和大肠的良/恶性肿瘤。在肿瘤刚发生时，患者可能无症状或者症状很轻，导致影响诊断，错过最佳治疗期[1]。据文献[2]所述，结直肠癌在中国的发病率居肿瘤类第三位，我国结直肠癌病人的5年生存率为47.2%。而这类肿瘤需要借助胃镜、肠镜等仪器进行检测，因此，高效的对肠道肿瘤的检测与定位，为医生给出相应治疗具有重要的意义。目前的主要检测手段是医生使用柔性胃镜末端镜头拍摄图像判断食道、胃以及十二指肠是否有溃疡或者息肉等病灶，并可通过镜体内工作腔道输送器械对病灶进行组织活检与手术治疗[3]。对于面向自然腔道微创介入的方法，通过引入载体感知，如视觉信息等，降低内腔介入治疗机械操作对人体组织的接触力，降低手术对人体二次伤害的风险[4]。医生进行胃镜下病变观察或手术时，存在以下问题：（1）肠壁与肿瘤颜色、纹理很相似，这对肿瘤的观察，造成困扰；（2）肠壁中镜头内肿瘤数量较多时，随着胃镜镜头的晃动，肿瘤位置容易缺失，难以进行辨识；（3）由于肠内肿瘤种类多、性状不很明显，这对医生辨别良恶性肿瘤的经验或者技能要求较高，患者多，医生少的供需紧张。因此，需要通过基于胃镜图像处理的方法，准确高效的跟踪肿瘤的位置，提高医生诊断的效率和效果。目前视频目标的跟踪中，有研究人员通过提取Context特征并采用流行学习理论实现对行人的鲁棒跟踪[5]。也有研究人员通过提取角点、局部二元模式（LocalBinaryPattern，LBP）纹理描述子等进行车辆的检测与跟踪定位[6]。在跟踪理论上，针对目标区域和背景区域外貌相似时，跟踪的目标在标记过程中会发生漂移的问题，PosseggerH等[7]提出了基于颜色的稠密自由模型，并在目标在跟踪方面取得不错的效果。然而，在匹配跟踪中，特征提取是目标匹配的重要依据。SIFT(ScaleInvariantFeatureTransform)[8]是图像匹配领域的经典特征，在图像保真[9]、块匹配[10]、物体识别、人脸识别[11]等领域有着广泛应用，解决了目标旋转、缩放、平移、光照影响、目标遮挡等问题。但是，由于视频跟踪对实时性要求较高，SIFT特征提取需要花费较多的计算时间，难以满足实时性要求。而SURF(SpeededUpRobustFeatures,加速稳健特征)算法[12]是SIFT的快速算法，且稳定性好。此外，目前多数基于模板匹配的跟踪算法匹配到的目标与模板尺寸相同，而不同视角观察目标时目标大小并不完全一致，会对跟踪的精度造成一定的影响。另外，虽然有些特征提取算法可以提取到较多的特征点，但这些特征点会有很多并不属于目标的特征，尤其是像肿瘤这种相对较小的目标。因此，基于特征点的鲁棒的目标跟踪算法是解决这些问题的重要手段之一。目前对于视频跟踪算法的研究已经有一些公开的标准数据库，如：视觉目标跟踪数据库(VisualObjectTracking,VOT),包含VOT14[13]和VOT13[14]等。这些视频数据包含已经标注好的具有多种光照变化情况、运动突变、相机晃动、目标形变、显著性比例与遮挡等目标跟踪的干扰因素。并且这类数据集对目标的跟踪也有相对完整的评估准则。然而，对于胃镜肿瘤的跟踪还没有相关的数据集，也没有统一的胃镜图像中肿瘤目标跟踪的评价准则。为了解决上述问题，首先，本文通过对网络公开的的一段600帧的胃镜肿瘤检测视频进行标注，构建了本文的实验数据集，并制定了针对胃镜肿瘤跟踪算法的评价准则。然后，针对胃镜中的肿瘤高效跟踪问题，提出了一种基于SURF特征的快速有效的肿瘤跟踪算法。该算法先提取视频帧中的感兴趣区域，减少视频界面中无关信息的影响；然后利用模板匹配、SURF特征提取、引入去除误匹配等策略，构建基于有效特征点的自适应的肿瘤目标匹配跟踪算法。最后，通过与SIFT特征、加入和未加入去除误匹配策略进行实验对比分析，评估各个跟踪算法肿瘤跟踪的性能。

1ROI区域提取

在进行跟踪前，需要对视频图像内无关区域去除，留下胃镜视野内感兴趣的区域（RegionofInterest，ROI）。由于胃镜镜头内部采集的图像为圆形区域，故而截取圆形ROI区域，作为接下来研究分析的图像。确定ROI区域的方法：根据视频界面显示属性，左侧为视频采集的时间、相机型号等信息，右侧为胃镜所采集到内腔中含有肿瘤的区域，如图1(a)所示。根据右侧胃镜镜头所采集图像的颜色特征，可找到镜头视野中心坐标（CenterX，CenterY）、以及视野边界的长和宽，获取镜头视野内半径，进而设置相应的掩模图像，在原图像中获取ROI区域。

2肿瘤目标跟踪算法

本文肿瘤目标跟踪的主要流程为：首先选取待跟踪的目标模板t，提取模板的特征构成特征模板，再对每个视频帧f进行特征提取，获取f与t中匹配的特征点，然后通过引入去除误匹配点的策略，得到最终匹配的特征点，再利用最小圆形区域包围这些正确匹配的特征点，进而对每一帧的肿瘤目标进行快速有效的跟踪。

2.1模板匹配法

在计算机视觉领域，目标跟踪算法在跟踪车辆、行人等环境目标有着广泛的应用，但在医学肿瘤方向，还很少有应用。本文将目标跟踪的方法应用在胃窥镜中，运用模板匹配算法进行胃镜下肿瘤跟踪。由于在切除肿瘤的微创手术过程中，需要找寻肿瘤位置，并且进行标注，适当的给医生或者医疗机器人辅助视觉，便于切除病灶。

2.2基于SURF的匹配算法

目前效果较好的特征点主要有：SIFT和SURF等特征。SURF特征提取的主要步骤为：首先，通过对图像积分（盒式滤波器）构建Hessian矩阵；然后根据Hessian矩阵判别式判断是否为极值点，再通过改变滤波器的尺度生成尺度空间，然后利用非极大抑制根据Hessian阈值初步确定特征点，并进行插值确定精确特征点。然后基于统计特征点领域内的Harr小波特征选取特征点主方向；最后，根据主方向和对Harr小波响应的统计构造SURF特征点描述子。在本文实验中hessian的阈值取值为800。SURF相较于SIFT特征具有一定的优势，两者主要有以下几点区别：1)SIFT特征生成的第一个阶段，在尺度空间中保持高斯滤波器不变，而图像自身的尺寸在变化；SURF特征生成的尺度空间中，改变滤波器的大小，而图像的尺寸不变，提高了速度和精度。2)筛选极值点的过程中，SIFT特征先抑制非极大值，再去除低对比度点和边缘点；SURF则反之，先用Hessian矩阵确定极值点，再抑制非极大值，减少了极值点之间计算筛选的过程。3)在描述子方向上，SIFT特征可能会有多个方向；而SURF的方向只有一个。4)在描述子维度上，SIFT特征是128维的特征向量，而SUFR是64维的特征向量，在后续的匹配过程中，大量缩短了计算时间。因此，鉴于SIFT算法的计算复杂度高，不利于实时跟踪，本文主要采用了鲁棒性较好的SURF算子作为特征匹配的特征描述子，并与SIFT算子的效果进行了对比。在视频的第一帧选取模板t（同模板匹配算法的模板选择保持一致），作为SIFT/SURF特征匹配的模板图像，随后，进行以下环节：（1）如图3所示，针对图1（b）的图像提取SIFT/SURF特征关键点；（2）计算特征向量；（3）利用FLANN算法匹配当前的特征点向量和第一帧模板图像中的特征点向量；（4）快速计算当前的特征点和第一帧模板图像中的特征点的特征向量之间的最大距离和最小距离；（5）提取出当前的特征点和第一帧模板图像中的特征点的匹配的距离小于2倍最小距离的特征点；（6）如图4所示，提取出能包含（5）中所有特征点的最小圆形区域，标记肿瘤位置。视频中每一帧都进行如上处理，最终实现肿瘤目标跟踪。

2.3基于SURF和去除误匹配点的跟踪算法

胃镜视频内，肿瘤和肠壁颜色、纹理、亮度很相近，这对特征提取匹配带来很大干扰，因此，视频帧中留下的匹配特征点，存在一些误匹配。这对肿瘤的标记有很大影响，会造成跟踪的肿瘤中包含过多的冗余信息，影响观察者的观测效果。所以在SURF匹配算法跟踪中，进行去除误匹配点的改进。首先将匹配点做聚类，先找到质心(Centroid_X,Centroid_Y)，计算特征点到质心的距离，该特征点到质心的距离在某个阈值外，由肿瘤自身的大小得知，该匹配点很可能是误匹配点。对提取的图3所示的特征点，将误匹配点去除后，再对留下的匹配点提取最小圆形区域标记肿瘤位置，去除误匹配的标记区域如图5所示。图4为当前图像特征点与模板匹配的提取的肿瘤最小圆形区域，图5(a)和图5(b)分别基于SIFT和SURF特征点的肿瘤最小圆形区域。由图4和图5的对比可知，通过去除误匹配的特征，剔除了肠壁上的一些误匹配的特征点，使得匹配上的特征点基本都是肿瘤上的特征点，从而提高了最小圆形区域（目标区域）提取的精度。由于最小圆形区域（跟踪的目标）即为肿瘤所在的区域，因此，去除误匹配之后，最小圆形区域去除了肠壁等非肿瘤的信息，使得跟踪的肿瘤区域更加精确。

3实验结果及分析

3.1数据库及评估标准

目前在乳腺肿瘤肿检测[18]等研究方面已有一些数据集，但针对胃窥镜肿瘤跟踪定位这个方向，研究相对较少，没有标准的肿瘤视频数据库供研究者参考，且没有标准的评估准则。本文评估以上算法性能采用来自网络上公开的胃镜内视频：第一组为胃窥镜下病灶手术的视频，由于视频中存在大量干扰信息，因此，本文共截取了视频中干扰相对较小的30帧图片；第二组为胃窥镜下肿瘤检测视频，共600帧图片。两组数据用来验证本文算法的鲁棒性和准确性。在行人车辆等目标跟踪的评估准则中，跟踪的视频帧目标与标记的真值之间的相关性用来度量算法的精确性(标记框覆盖目标的面积)和鲁棒性(重新初始化的次数)。本文借鉴现有的算法评估准则，对比标记部分覆盖目标的比例。本文定义：当标记框内肿瘤覆盖面积大于当前帧肿瘤面积的80%，且标记框的面积不能大于当前帧肿瘤面积的1.5倍，认为能够准确跟踪，否则认为不能正确跟踪肿瘤。通过比较跟踪成功率，评判算法的精确性。同时也会将视频处理每一帧的大致平均时间，作为评判实时性的度量。

3.2实验结果定性分析

本文实验采用OpenCV2.4.8版本，VisualStudio2013版本进行算法实验，电脑配置为内存4GB的64位Windows7系统。图6为一组胃窥镜下病变区域基于SURF特征去除误匹配的跟踪结果。图6（a）为选取的模板，图6（b）为模板区域的SURF特征点，图6（c）-6（f）分别为第3帧、第7帧、第12帧和第18帧病变区域的跟踪结果。为了更加清晰的展示SURF特征的特性，本文用不同大小的绿色圈更加显著的表征SURF特征点，利用红色圈表示最小圆形区域，即跟踪的目标区域。(a)3.3实验结果定量分析此外，本文对600幅图像跟踪的结果进行了统计，按照评价标准对不同的方法进行了比较，如表2所示。由表2可知，本文提出的算法在跟踪的正确率上明显高于其他算法。在肿瘤区域跟踪中，SIFT虽然可以提取更多的特征点，但是存在较多的非肿瘤部分的点，造成对肿瘤区域的选取过大，使得跟踪正确率低于SURF特征。而本文改进基于SIFT/SURF匹配的算法，通过剔除误匹配，提高了跟踪的正确率。对于处理速度，在处理每帧图像时，基于SURF的算法的平均速度是基于SIFT算法的平均速度的3.2倍。而由于改进的SIFT/SURF加入了误匹配剔除环节，使其每帧处理的平均时间比未改进的时间有所增加，但是本文提出的目标跟踪算法与基于SURF特征直接匹配跟踪的方法平均处理时间相差较小，不影响算法处理的实时性。因此，从精度和实时性方面考虑，本文算法明显优于其他方法。

4结论

结果：本文实验所用的视频光照变化较大，但是本文的模板匹配方法仍然可以有效的进行跟踪，而且速度快，算法复杂度较小。在本文所用的视频中，每帧只花费约1ms。存在的问题：标记的圆太大，当肿瘤缩小（镜头远离肿瘤），小圆形区域会找不到目标在哪，基本停留在某处不动，此时不能正常跟踪肿瘤。标记的圆太小，当肿瘤变小时，能正常跟踪肿瘤，但是，在肿瘤较大（镜头离肿瘤较近），不能标出肿瘤的大致轮廓，只能给予肿瘤的一部分标记，不具有显著性。展望：针对上述问题，在保证实时性的同时，提取更多的能够覆盖肿瘤区域更加鲁棒的特征点，并且加入肿瘤区域边界约束条件，从而更加精确完整的标记出肿瘤的范围。此外，随着机器学习和深度学习的发展，可以通过获取更多的胃镜肿瘤检测数据，构建肿瘤检测数据集，通过手动或者深度网络对肿瘤区进行特征提取的方式，检测肿瘤区域并进行跟踪，例如医学影像上应用广泛的U-net网络等。

作者：刘全胜1,江艳梅2,杨景超2,马鹏程3 单位：1．河北公安警察职业学院，2.河北交通职业技术学院，3．识途科技（广州）有限责任公司