医学图像融合技术及运用范文

1医学图像融合技术

1.1图像融合的内涵图像融合是指将多源图像传感器所采集到的关于同一目标的图像经过一定的图像处理,提取各自的有用信息,最后综合成同一图像以供观察或进一步处理。从信息论的角度讲,融合后的图像将比组成它的各个子图像具有更优越的性能,综合整体信息大于各部分信息之和,也就是说,融合的结果应该比任何一个输入信息源包含更多的有用信息,即1+1>2,这就是图像信息的融合[2]。

1.2医学图像融合的分类一个完整的医学图像融合系统应该是各种成像设备、处理设备与融合软件的总和。由于融合图像的应用目的不同,决定了医学图像融合具有各种各样的形式。根据被融合图像成像方式不同,可分为同类方式融合和交互方式融合。同类方式融合(也称单模融合,mono2mo2dality)是指相同成像方式的图像融合,如SPECT图像间融合,MR图像间融合等;交互方式融合(也成多模融合,multi2mo2dality)是指不同成像方式的图像融合,如SPECT与MR图像融合,PET与CT图像融合等。按融合对象不同,可分为单样本时间融合、单样本空间融合以及模板融合。单样本时间融合:跟踪某一病人在一段时间内对同一脏器所做的同种检查图像进行融合,可用于对比以跟踪病情发展和确定该检查对该疾病的特异性;单样本空间融合:将某个病人在同一时间内(临床上将一周左右的时间视为同时)对同一脏器所做几种检查的图像进行融合,有助于综合利用多种信息,对病情做出更确切的诊断;模板融合:是将病人的检查图像与电子图谱或模板图像进行融合,有助于研究某些疾病的诊断标准。另外,还可以将图像融合分为短期图像融合(如跟踪肿瘤的发展情况时在1~3个月内做的检查图像进行融合)与长期图像融合(如治疗效果评估时进行的治疗后2~3年的图像与治疗后当时的图像进行融合)。综上所述,依据不同的分类原则,医学图像融合有多种方式,在实际应用中,临床医师还可以根据各种不同的诊断与治疗目的不断设计出更多的融合方式。

1.3医学图像融合的主要技术方法与步骤医学图像融合的过程是一个渐进的过程,不同的融合方法有各自具体的操作和处理,但是,不管应用何种技术方法,图像融合一般都要经过三大主要的步骤来完成,分别是图像预处理、图像配准和融合图像的创建。

1.3.1图像预处理医学图像预处理是指对获取的各种图像数据做去除噪声、对比度增强、感兴趣区域分割等处理,统一各种数据的格式、图像大小和分辨率,对于有条件的图像还可以进行重新断层分层以确保图像在空间分辨率和空间方位上的大体接近。在此基础上,还可根据目标特点或不同应用目的建立适当的数学模型。

1.3.2医学图像配准医学图像配准是指对于一幅医学图像寻求一种或一系列空间变换,使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两幅匹配图像上有相同的空间位置,配准的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。图像配准是图像融合的先决条件与关键,图像配准精度的高低直接决定着融合结果的质量。目前,已存在多种配准方法,文献[3]对医学图像配准技术做了详细的归纳和总结,配准处理一般可以分为图像变换和图像定位两步:(1)图像变换:其目的在于确保多源图像的像素或体素表达的实际空间区域相同。确保多源图像对同一脏器在空间描述上的一致性。图像的变换包括平移、旋转、定标、反射等处理,医学图像常用的基本变换有:刚体变换、仿射变换、投影变换和非线性变换。在图像融合实践中,以上几种方法经常联合使用,一般都由计算机自动完成,并可进行一些人工的修正,从而提高结果的准确性。(2)图像定位:在实际应用中,图像分辨率越高,图像细节越丰富,实现点到点意义的对应难度越大。图像的定位(配准)方法可大致分为两大类:基于外部定位和基于内部特征的方法。基于外部定位的方法有:定标架法、面膜法和皮肤标记法等,其优点是定位简单,精度高(一般都可达到像素级的精度),缺点是这些方法仅限于刚体变换,而且有时会对人体产生一定程度的损伤。基于内部特征的方法是从不同成像模式中提取共有特征的体位标志进行定位,这些体位标志包括解剖标志、几何标志、局部点、线、表面轮廓特征和像素特征等,这类方法仅基于病人自身图像的信息,是回顾性算法,不需在成像之前对病人做任何特殊处理,缺点是内部标志的寻找相当困难和麻烦,计算量大,需要人为介入,配准精度由具体算法决定。其主要方法有:①标志点法:包括解剖标志点法和几何标志点法;②图像分割配准法:包括曲线法、表面法等;③基于像素特征的配准法:有矩和主轴法、相关法、最大互信息法和图谱法等。近年来小波变换也被应用于图像配准中,它可以利用在低分辨率下的配准参数作为基础和引导,得到在高分辨率下更为准确的结果,这种方法有较强的鲁棒性,而且可以加快配准时间。此外,基于一定数学物理模型的非线形配准也是近年研究的热点。

1.3.3医学图像融合医学图像在空间域配准之后,就可以进行融合了,融合图像的创建又分为图像数据的融合与融合图像的显示两部分来完成。

(1)图像数据融合:在当前的研究中,主要有两类方法:以像素为基础的方法和以图像特征为基础的方法[4]。以像素为基础的方法,即点对点的方法。由于像素是图像的基本元素,像素间灰度值的差异显现出图像中所包含的结构信息,因此简单地把两幅图像对应像素点的灰度值进行加权求和、灰度取大或者灰度取小等操作,便可得到一幅融合图像。这类方法是对图像进行逐点处理,所以用到的数学原理易于理解,算法实现也比较简单,不过实现效果和效率都相对较差,融合后图像会出现一定程度的模糊。以图像特征为基础的方法,要对图像进行特征提取、目标分割等处理,用到的算法原理复杂,但是实现效果却比较理想,能够满足诊断的要求。现有的基于图像特征的融合方法几乎都是从变换域上的图像编码和压缩技术延伸来的,有Laplacian金字塔法[5]、Gaussian金字塔法[6]、比率低通金字塔法[7]、多分辨率形态滤波法[8]和小波变换法[9]等,这类方法融合的一般步骤为:①将源图像分别变换至一定的变换域上;②在变换域上设计一定的融合规则;③根据选取的规则在变换域上创建融合图像;④逆变换重建融合图像。

(2)融合图像的显示:融合图像有多种直观的显示方法,常用的有伪彩色显示法、断层显示法和三维显示法等。①伪彩色显示法:由于人眼对彩色图像的分辨能力是灰度图像的几千倍,因此对融合图像采用伪彩色显示可大大提高观察者对图像特征的识别能力。融合图像的伪彩色显示往往是以某个图像为基准,该图像用灰度色阶显示,另一幅图像叠加在基准图像上,用彩色色阶显示;②断层显示法:对于某些图像可以将融合后的三维数据以横断面、冠状面和矢状面断层图像同步地显示,便于观察者进行诊断,这种显示要求观察者对于图像三维层面特征有丰富的经验;③三维显示法:将融合后的三维数据以三维图像的形式显示,使观察者可更直观地观察病灶的空间解剖位置,这在外科手术设计和放疗计划制定中有重要意义。

2医学图像融合的应用前景

经过近些年的研究,图像融合技术已开始应用在临床治疗和影像诊断中,并取得了许多令人可喜的成果。原发癫痫病灶的准确定位一直是困扰医学影像界的一大难题,许多学者利用融合技术对此做了富有成效的探索。例如:Pelizzari等[10]对癫痫病人的MRI、PET图像融合处理后,可观察到病人的脑外伤、炎症、硬化症等的变化,还可看到手术及麻醉前后的区别;Lewis等[11]研究表明,于发作期和发作间期对癫痫患者分别进行SPECT检查,将二者的图像相减,再分别于MRI图像融合,可使功能损伤的解剖学标记更准确,以SPECT所示的局部脑血流对大脑新皮质的癫痫灶准确定位,从而为手术提供重要依据。将图像融合技术应用于脑颅成像中,可以精确定位颅内病变,提高诊断准确性。例如:Hill等[12]融合CT和MRI图像,建立了大脑的三维坐标系统,以辅助脑的定位治疗,其定位精度高于单独从一个图中的定位;Rubinstein等[13]运用T1、TC、FDG脑图像与MR图像融合对脑肿瘤手术或放疗后的变化和复发进行监测,对发现治疗后肿瘤体积大小改变,区别肿瘤坏死与复发部分,均具有极高的诊断价值。在胸腹部图像融合的应用中,由于胸腹部脏器形状不规则又易受呼吸游动影响,很难做到精确配准,因此这方面的融合报道较少,但也有学者进行了有益的尝试。如:Li[14]将MR融合到三维PET代谢图中,显示代谢与解剖信息,在对内脏肿瘤患者的试验中,以不同色彩显示腹部各区域的三维图像;Magnani等[15]证实,CT/PET对非小细胞肺癌侵犯纵隔淋巴结的分期诊断中,二者的融合图像比单纯应用CT或PET更为准确。在放射治疗的应用中,利用融合图像精确定位照射区与周围正常组织的空间关系,可减少周围正常组织的放射性损伤。Wong等[16]对轫致辐射SPECT和CT图进行三维融合,从而定位要进行放射治疗的灌注后肿瘤,得到良好效果;Pinz等[17]应用图像融合技术测定用核素标记的单抗治疗淋巴瘤、肺癌和前列腺癌等恶性肿瘤的剂量,可详细确定其放射性分布。在外科手术的应用中,准确了解病变与周围组织的关系对制定手术方案,决定手术是否成功至关重要,Sannazzari等[18]以融合技术确定放射线标记的单克隆抗体聚积(SPECT)的解剖结构(CT),可对术前及治疗中的肿瘤进行精确分级和定位。

3医学图像融合技术难点与存在的问题

目前,医学图像融合技术中还存在许多尚未解决的技术难题。首先,由于各种成像系统的成像原理不同,其图像采集方式、格式以及图像的大小、质量、空间与时间特性都有很大差别,因此研究稳定且精度较高的全自动医学图像配准与融合方法是图像融合技术的难点之一;其次,图像理解是医学图像融合的最终目的,图像融合的潜力在于综合处理应用各种成像设备所得信息以获得新的有助于临床诊断的信息,由于图像融合技术目前还是一个全新的研究领域,因此,如何理解和利用这些新的综合信息,还需要不断地实验和证明;最后,由于在实际图像融合时,许多差异都是未知的,不可能达到绝对的最优,到目前为止,在多种多样的图像融合优化准则中,很难说某一种准则一定比另一种好,特别是不存在一种绝对完美的融合图像做参考,因此进一步研究能够客观比较和评价不同方法融合性能的标准也是亟需解决的问题。在图像融合技术研究中,不断有新的方法出现,其中小波变换在图像融合中的应用,基于有限元分析的非线形配准以及人工智能技术在图像融合中的应用将是今后图像融合研究的热点与方向。由于融合研究起步较晚,以至现有的技术方法还只是针对具体病症、具体问题发挥作用,通用性相对较弱;通过大量资料的查询发现,国外在融合方面的研究较多,不过大多数也还只是以少数几个或几十个病例为试验对象,并没有真正的普及到临床诊断中去;医学图像融合的研究和临床应用主要集中在大脑的诊断和手术治疗,以及脏器肿瘤的诊断、定位等;另外,图像的模态也主要以CT、MRI、核医学图像为主,超声等成本较低图像的应用较少。相信,随着研究的不断深入,多模态医学图像融合技术在融合速度、精度、稳定性等方面将会日趋完善,应用也会更加广泛和普遍,从而更好地辅助医生诊断和临床治疗。医学图像融合技术发展至今,各个学科的交叉渗透已是发展的必然趋势,它作为提升现代医疗诊断水平的有力依据,使实施风险低、创伤性小的化疗、手术方案等成为可能,必将在医药信息研究领域受到更多的关注。