论文部分内容阅读
病理诊断是恶性肿瘤判断的“金标准”。细胞(核)检测与分割通常被认为是计算机辅助病理图像分析的基础和关键前提步骤。然而,受病理图像染色存在差异、背景复杂以及人为噪声干扰等影响,同时,病理图像细胞尺寸、形态以及纹理等变化不一,细胞粘连或重叠度略有不同,导致精确、鲁棒的细胞(核)检测、分割非常具有挑战性。然而,人工特征提取方法不仅需要专业知识,而且特征提取成本高,尤其是高质量特征。深度卷积网络是深度学习方法中的一个重要分支,它通过逐层抽取数据特征并进行组合、转换,形成更高层的语义特征,具有极强的建模能力。近年来,其在病理图像分析方面取得了一些成果和突破。本文的主要研究内容是基于深度卷积网络的病理图像细胞(核)检测、分割以及病理切片图像精细分类与分级算法研究。论文的主要工作和创新如下:1)提出了基于多尺度全卷积网络的病理图像细胞检测算法。由于病理图像染色深浅不一、细胞类型多样、细胞粘连或部分重叠,导致准确的细胞(核)检测通常是一个困难的问题。为了解决这个问题,本文提出了一种新的多尺度全卷积神经网络用于回归细胞图像的概率密度图,从而鲁棒检测荧光显微细胞图像和病理图像的细胞(核)。算法流程主要分为三个步骤。首先,对仅包含单个中心点作为细胞标签的子图进行预处理,得到含空间结构信息的子图,并在处理后的数据集上进行回归训练,促使子图的细胞中心明确产生比它们的相邻区域更大的值。在此基础上,本文设计了多个多尺度全卷积回归网络,不仅可以检测单个、小尺寸的细胞,而且有利于检测大尺寸、重叠状态的细胞。在这个阶段,我们从收缩路径复制完整的特征图(feature map),并与扩展路径的特征图融合。该操作将充分利用网络的浅层和深层语义信息。最后,采用形态学运算、最大值最小值滤波,并结合细胞先验知识,从而鲁棒地找到细胞的中心。本文所提方法在荧光显微细胞图像上能达到约99.25%的检测精确度,其F1值为0.9924;对淋巴细胞图像的检测精确度约为85.90%,F1值为0.9020;在乳腺组织病理图像上能达到约78.41%的检测精确度,其F1值为0.8440。与其它在这三个数据集上的研究相比,本文提出的方法取得了更好的检测性能。2)提出了结合稀疏重建和深度卷积网络的病理图像细胞核分割方法。由于细胞图像灰度值呈现非均匀性,加上背景较为复杂,给精确的细胞分割带来较大的挑战。本文首先采用稀疏重建的方法粗略去除复杂的背景,同时对细胞核区域进行增强;其次,采用反向传播和梯度下降技术对深度卷积网络进行训练,用于精确分割细胞核;最后,使用形态学操作、增加先验知识进一步提高分割性能,减小误差。与之前的深度网络相比(通常包含卷积层和下采样层),本文仅采用卷积层级联的方式;同时,随机采样图像块进行训练,每采样一次,网络的参数将沿着误差最小的目标更新一次,这样能快速训练网络模型。实验表明,本文的方法对于图像块采样次数以及特征图个数的选择具有较强的鲁棒性。在良恶性乳腺肿瘤病理图像细胞核数据集上测试,本文像素级的分割准确率约为92.45%,F1值为0.8393。与多个现有细胞核分割方法进行对比,本文方法性能最佳或比肩最佳水平。3)提出了适用于多组织部位病理图像细胞核分割的深度语义网络。不同的患者、不同的组织部位病理图像细胞核的形状和外观存在较大的差异性;另外,不同实验中心、不同工作人员制作的切片染色深浅不一,这就导致病理图像细胞核的精确分割具有非常大的挑战。本文提出的网络模型由编码模块、解码模块以及孔洞卷积模块三部分构成。其中,编码模块主要作用在于逐层获取细胞图像高层的语义信息;解码模块作用在于逐层复原病理图像的空间信息;孔洞卷积模块由级联和并行的孔洞卷积运算组成,它能抽取多尺度特征并进行组合,使得网络对面积较小和较大的细胞核都具有较强的感知能力。在模型训练过程中,将Log-Dice损失与Focal损失两种损失函数有机结合。为了提高预测值较小Dice系数的惩罚,采用对数运算并取负值作为Log-Dice损失,上述优化有利于收敛速度的提高。与多个近期发表的语义分割算法对比,本文提出的方法在两个最近发布的病理图像细胞核分割数据集上取得了最佳性能。4)提出了基于多任务深度学习的病理图像精细分类与分级方法。病理图像的精细分类与分级具有重要的临床应用价值,然而,病理图像往往存在较大类内差异和较小类间差异的问题。为解决此问题,本文设计了一种基于多任务端到端学习的深度卷积网络模型,以实现病理图像细粒度分类与分级。模型关键步骤如下:首先,本文使用在线数据增强和迁移学习策略来有效缓解模型过拟合现象的发生。其次,针对病理图像中存在较大类内差异和较小类间差异的问题,在表征学习过程中,将多类识别任务和图像对的验证任务有机结合;另外,将不同子类之间具有较大距离和相同子类之间距离较小的先验信息嵌入特征提取过程中。在BreaKHis、浸润性乳腺癌分级以及淋巴瘤亚型分类数据集上的实验结果表明,本文提出的方法具有良好的精细分类与分级性能。综上所述,本文将深度卷积网络与稀疏表示、形态学操作等经典方法结合,吸取深度卷积网络与经典方法各自的优点进行病理图像分析,提升实验性能。同时,本文研究深度语义网络中编解码模块、孔洞卷积模块对病理图像语义分割的作用以及多损失函数有机结合对病理图像的分割性能提升的贡献。另外,基于多任务的学习方法,在表征学习过程中,将病理图像中不同子类之间具有较大距离和相同子类之间距离较小的先验知识嵌入特征提取过程中,有效提高病理切片精细识别性能。