卷积神经网络下的病理细胞核分割范文

摘要:针对病理图像中细胞核的精准分割问题，结合全卷积网络框架和高分辨率网络框架的特点，提出一种卷积网络对细胞核进行自动精准地分割;基于稀疏非负矩阵分解的方法将具有严重颜色分布差异的病理图像进行颜色分布归一化，以归一化后的图像为输入，利用所提出的卷积网络对细胞核进行分割;该网络通过减少下采样算子的使用，使图像信息在前向计算过程中不会过分丢失，并使用扩张卷积扩大深层神经元的局部感受野尺度大小;所采用的分割方案在2017年MICCAI病理数字图像分割数据集中达到0.848的平均dice分数;实验表明，融合全卷积网络框架和高分辨率网络框架的卷积网络在病理图像中实现了细胞核自动精准的分割，可以有效减轻影像医师的工作负担。

关键词:病理图像;细胞核分割;卷积神经网络;颜色归一化

引言

在各种疾病检查方法中，病理诊断一直是最可靠的诊断方式。该诊断方式主要是根据显微镜下所观察到的病变组织细胞结构做出诊断，相比于临床上根据超声、CT影像所作出的诊断分析更加准确和客观。由于各种癌症病变的根本原因在于细胞核中遗传物质的改变，导致癌变后的细胞和癌变前的正常细胞在形状大小上有了明显的差异，所以病理图像中细胞核的精准分割是病理诊断的基础性工作。所幸的是，细胞核可以通过特定染色而呈现出来，使得病理图像中细胞核的精准分割这个目标得以实现［1］。形变模型是目前细胞核精准分割的流行方法，包括CV模型、GAC模型和Snake模型及其变种模型，其思想是极小化由轮廓曲线所定义的能量泛函，从而使得初始化边缘轮廓向目标边界演变进化。Qi等［2］提出了基于GAC模型的细胞分割模型，并通过增加约束项使得两个相邻细胞的轮廓曲线不会互相合并;Lu等［3］则将形状先验约束引进了距离正则化水平集模型上，为宫颈重叠细胞的分割提供了一个解决思路;Kong等［4］先是获取形状先验信息，然后将其和水平集模型结合起来，并添加稀疏性约束对细胞核进行分割;近年来，卷积神经网络模型在大量视觉领域的应用问题中达到甚至超越了人类水平，所以该模型逐渐成为大量图像应用问题的首要选择;Sirinukunwattana等［5］根据卷积神经网络模型对结肠腺癌病理图像中的细胞核进行检测;Xing等［6］则是先通过卷积神经网络模型得到分割结果概率图，然后利用稀疏形状模型和局部形变模型在病理图像中分割细胞核。本文首先使用保持结构的基于稀疏非负矩阵分解的方法对病理图像做颜色分布归一化，然后结合全卷积网络框架(FullyConvolutionalNetwork，FCN)［7］和高分辨率网络框架(HighResolutionNetwork，HRN)［8］的特点，提出一种卷积神经网络结构对病理图像中的细胞核进行自动精准地分割。所提出的网络结构对2017年MICCAI(MedicalImageComputingandComputerAssistedIntervention)病理数字图像分割比赛数据集中4种不同癌症病变的病理图像的细胞核进行分割，并分析比较每种病理图像中细胞核的分割情况。

1病理图像颜色归一化

MICCAI数据集由4种不同癌症病变的病理图像组成，包括非小细胞肺癌(NSCLC)、头颈部鳞状细胞癌(HNSCC)、多形性胶质母细胞癌(GBM)和低级别胶质瘤(LGG)。每种癌症病变各8张病理图像，每张图像的空间尺寸大小为500×500或600×600，且每张图像都配备有专业医师勾勒的细胞核边界图，称为分割金标准。在染色过程中，由于染色手法和染色时间等因素，造成不同的病理图像呈现出不同的颜色分布，为细胞核的精准分割带来了极大的困难。所以在利用卷积神经网络对细胞核进行分割之前，首先需要对每张病理图像做颜色归一化。所采用的颜色归一化方法是保持结构的基于稀疏非负矩阵分解的颜色归一化方法［9］。首先根据Beer-Lambert定律将给定的RGB图像转化成光密度图像:其中I为原始病理图像，而I0为入射光强度，W∈Rm×r表示染料颜色矩阵，其每一列代表颜色基，r为染色剂种类数，H∈Rm×n为染色密度矩阵。然后，通过增加对染色混合系数Hj的稀疏正则化提出了改进的代价函数，代价函数为其中，V为原始图像的光密度图，λ为稀疏正则项系数，j=1，2，…，r为染剂指标。在式(1)中对W的限制条件是为了防止产生多个类似(W/α，αH)的解。式(1)根据交替迭代的算法求解W和H，即固定一组参数的情况下求解另一组参数。这样，一张图像可以被分解成两个矩阵相乘的形式。对整个数据集做颜色归一化操作时，首先从数据集中随机选取一张病理图像T，然后将其余病理图像的颜色分布归一化成图像T的颜色分布。具体地，对待处理图像S做如下分解:然后结合S的染色密度矩阵和T的染料颜色矩阵，其中，HMT(j，:)和HMS(j，:)分别表示T和S的染色密度矩阵第j行最大值，Inorm为颜色归一化后的图像。在图1中，展示的是原病理图像和颜色归一化后的图像数据。注意原本的颜色分布差异过大，而归一化后颜色分布差异变小。

2卷积神经网络

卷积神经网络模型是一个多层级的计算模型，通过在输入图像上反复使用线性卷积运算和非线性激活运算，将表示图像中目标物体的特征逐步提取出来，且其含有语义信息的高级抽象特征是通过低级特征如边缘、角点特征等逐步整合形成的［10］。卷积神经网络的卷积层、池化层或和残差层等算子都遵守以下计算公式:Xl+1=h(Xl)+f(Wl，l+1*Xl+b)其中Xl+1，Xl分别表示第L层的输出特征图和输入特征图;Wl，l+1表示该层的卷积核，b表示偏置项，而*表示卷积运算;f表示非线性激活函数，而h在卷积层和池化层中是零算子，即其函数值一直为0，而在残差层则是恒等算子。卷积层是卷积神经网络的基本部件，该层的计算过程可以用4个参数K，F，P，S完全表达，其中K是卷积核个数，F是卷积核空间尺寸大小，P是输入特征图的补零数，而S是卷积核在各个空间维度上的移动步长。自FCN框架提出之后，卷积神经网络得以全卷积化，从而可以应用于图像语义分割任务中。但在FCN网络框架中由于过多下采样算子(如池化层作用或步长大于1的卷积层作用)的存在，使得大量图像信息在前向传播过程中被强制丢失。这些信息不仅仅包括图像中背景和噪声的信息，还包含目标物体的特征信息。因此，HRN框架是继FCN框架之后的一个必然尝试。在HRN框架中，网络不采取任何下采样算子，所以图像数据的分辨率在前向计算过程中保持不变。但深层神经元在输入层局部感受野的尺寸大小是卷积神经网络性能卓越的必要保证，所以HRN框架利用扩张卷积扩大卷积核的作用区域，从而扩大深层神经元的局部感受野。扩张卷积完全由扩张率d所定义，设卷积核W的空间尺寸大小为F×F，扩张后的卷积核为V。W中任意两个元素的相对位置在V中保持不变，而根据预设的扩张率d，其相邻两个元素在水平或垂直方向上相距d－1个单位，且每个单位上的值都是0。

3分割卷积神经网络结构

在HRN框架中，需要保证深层神经元在输入层的局部感受野的尺度大小，仅使用扩张卷积需要堆叠大量的卷积层，这往往会导致梯度弥散现象的发生。为了克服这个问题，在使用残差连接辅助梯度信息后向传播的同时，仍然需要少量的下采样算子。而且，下采样算子可以丢弃输入图像中的背景信息和噪声信息，所以我们提出的分割卷积神经网络包含且仅包含一个下采样算子，该下采样算子是步长为2的卷积层作用，实现了特征图空间维度的减半。相对应地，需要使用一个由转置卷积算子定义的上采样操作，将特征图的空间尺寸大小恢复原图大小。在本文中，分割卷积网络输入图像的空间尺寸大小是200×200，在经过一个参数为(K，F，P，S)=(16，5，2，1)的卷积层conv1作用之后，就根据参数为(32，3，1，2)的卷积层conv2作用进行特征图空间尺寸的下采样。之后conv2的输出特征图将经过连续7个残差层res1～7的作用，其中每个残差层包含两个卷积层作用，参数都是(32，3，1，1)，并且每个残差层各配备一个扩张率。这7个残差的扩张率分别为(1，1，1，2，4，8，16)。之后，res7的输出特征图将通过转置卷积的作用进行上采样，并与conv1的输出特征图做逐位加和，所得到的输出特征图将通过3个卷积层的作用得到分割结果概率图，这3个卷积层的参数分别是(16，5，2，1)，(8，3，1，1)和(2，1，0，1)。分割卷积神经网络的结构及其参数在表1中详细给出。

4实验与分析

在MICCAI数据集上验证了所搭建的分割卷积神经网络。对4类不同的癌症病理图像，每类各选取7张病理图像进行训练，且各留下1张尺寸大小为600×600的图像用于测试网络的分割性能。对每张训练图像，根据步长30在各个空间维度上进行游走并裁剪尺寸大小为200×200的图像块作为网络的输入。对500×500的归一化病理图像，可裁剪100张输入图像;而对于600×600大小的归一化病理图像，可裁剪169张输入图像。最终，共有训练图像3940张，并且需要对分割金标准做同样的操作。对4类癌症的测试图像，根据步长200在两个空间维度上进行游走并裁剪图像块。由于每张测试图像的大小为600×600，所以刚好可以得到9张输入图像，从而分割网络对测试图像的量化指标值就是网络在这9张输入图像上的量化指标值的平均值。在实验中，我们使用ddice作为主要量化指标，并以ddiceLoss=1－ddice作为网络训练的误差函数，而其他量化指标分别是查准率(pprecision)和查全率(rrecall)。表2详细给出了分割卷积网络在4类病例图像上的分割情况。分割卷积神经网络在整个数据集上的平均ddice分数是0.848，平均查全率是0.813，平均查准率是0.893。图3中展示的是HNSCC测试图像，而图4给出了网络在HNSCC测试图像上的分割结果和分割金标准的对比。其中灰色区域表示分割金标准，而黑线表示分割结果。

5结束语

细胞核的精准分割是病理诊断的基础工作，有十分重要的应用价值和研究价值。由于染色过程造成的病理图像颜色分布的差异，我们首先使用保持结构的基于稀疏非负矩阵分解的方法对所有病理图像进行颜色分布归一化，避免直接在原病理图像中分割细胞核会碰到的困难。然后以归一化后的图像数据作为网络输入，利用所提出的分割卷积神经网络对细胞核进行自动精准地分割。该分割卷积网络结构结合了FCN框架和HRN框架的特点，通过减少下采样算子的使用，使得图像信息在前向计算过程中不过分丢失，并使用扩张卷积算子扩大深层神经元在输入层的局部感受野尺度大小，保证卷积网络的分割性能。所采用的分割方案在2017年MICCAI病理数字图像分割数据集中达到0.848的平均dice分数。实验表明，融合全卷积网络框架和高分辨率网络框架的卷积神经网络在病理图像中实现了细胞核的自动精准地分割，可以有效减轻影像医师的工作负担。另一方面，深度学习方法的性能主要依赖于训练数据量的大小，而病理图像数据集属于小数据集。如何在小数据集中更好地应用卷积神经网络模型，进一步提升病理图像中细胞核的分割精度，是未来需要持续研究的工作。

作者：吴宇雳 李渊强 单位：南京理工大学