论文部分内容阅读
目的：目前，深度学习作为最先进的机器学习算法之一，在各种医疗应用中优势明显。基于深度学习的医学图像处理智能算法不仅能够自动完成医学图像特征提取和选择，而且还可以根据图像潜在纹理结构构建新的特征表示，其“端到端”的表示和学习方式可在诊断中发挥重要作用。本文致力于医学图像处理与分析的高性能深度学习算法的研究，针对椎间孔狭窄症细粒度多分级问题、脊柱全局模式下多结构疾病诊断问题和皮肤癌病变区域弱监督分割问题，分别提出了三个有效的深度学习算法模型。
方法及结果：首先，针对椎间孔狭窄症MR图像的自动多分级问题，设计了一种结构简单且高性能的结构化深度学习模型；其次，针对脊柱多结构的检测、轮廓分割和病变分类/分级多个任务，结合多结构和多任务之间联合学习的思想，构建了一种用于全局模式下脊柱多结构疾病诊断的渐进式多任务联合学习模型；最后，针对皮肤癌弱监督病变区域检测和精准分割难题，提出一种基于超像素区域响应的弱监督皮肤癌图像分割算法。
（1）椎间孔狭窄症的术前定性分级诊断，对临床医生治疗策略的制定和患者健康恢复至关重要。目前医生主要采用人工测量评估的方式对椎间孔狭窄症进行诊断，该方法易受医生主观因素等影响存在诸多问题。为提高计算机辅助椎间孔狭窄症诊断准确率，及医生诊断工作效率，本研究提出一种基于深度学习的椎间孔狭窄图像自动分级算法。首先，从人体矢状切脊柱核磁共振图像中提取脊柱椎间孔图像，并做图像预处理；其次，设计一种监督式深度卷积神经网络模型，用于实现脊柱椎间孔图像数据集的自动多分级；然后，利用迁移学习方法，解决深度学习算法在小样本数据集上的过拟合问题。实验结果表明，所构建的IFS-Net算法在脊柱椎间孔MR图像数据集上的分类精确度可达到87.5%以上，且具有良好的鲁棒性和泛化能力。
（2）脊柱结构的同时检测，分割和分类，对基于发病机理的多种疾病早期诊断发挥重要作用。当病灶区域及其邻近结构被同时检测到时，它会为放射科医生根据发病机理诊断该疾病提供更多帮助。根据人体生理结构，脊柱多个结构之间是直接相互依存和相互影响的，而就深度卷积神经网络框架下的多重任务而言，不同任务之间也可以相互影响。脊柱整体模式下的多任务联合优化是寻求上述潜在相关性动态平衡的解决思路之一。本研究提出了一种新颖的端到端多任务多结构相关学习网络（MMCL-Net），用于实现三种脊柱结构（椎间盘，椎骨和神经孔）的同时检测、分割和分类，且对该模型进行局部优化以实现更稳定的动态平衡状态。对200名受试者T1/T2加权MR扫描图像的实验研究表明，MMCL-Net的mAP为0.9187，分类精度为90.67％，DICE系数为90.60％。
（3）对不同分期的皮肤癌病变进行精确的分割及识别，有利于早期发现、定位和治疗。考虑到获得图像像素级准确注释的成本，本研究提出了一种通过CNN响应超像素区域的皮肤镜图像弱监督分割方法(CNN-SRR)。CNN-SRR算法将基于深度卷积神经网络的改进分类器和无监督超像素算法结合在一起。首先，改进的分类器利用图像级标记数据训练模型参数使模型尽可能聚焦于图像病变区域。其中，病变区域响应的提取分为训练CNN分类器和反向传播分类器获得顶层峰值两个阶段。然后，将测试图像过分割成一组原始的超像素，并根据RGB通道最小距离融合局部超像素簇成若干区域作为预分割提议，最后将有一个提议通过非最大抑制方法获取的病变区域响应和预分割提议的最大匹配值激活作为最终分割掩码。在ISBI2017和PH2数据集上的定量定性实验证明，与监督分割方法相比，该方法能够有效区分病灶区域，甚至达到可以与强监督算法相当的分割性能。与无监督超像素分割算法相比，CNN-SRR算法的Jaccard系数和准确率分别提高了12.4%和3.3%。
结论：面向椎间孔狭窄症自动多分级任务，全局模式下脊柱多结构检测、分割和病变分类/分级任务，以及弱监督条件下的皮肤癌病变区域分割任务，本文提出了三种高效且优势明显的深度学习算法，分别是椎间孔狭窄症多分级算法（IFS-Net）、多结构多任务脊柱结构检测与分割算法（MMCL-Net）和采用超像素区域响应的CNN弱监督皮肤癌图像分割算法（CNN-SRR）。其中，MMCL-Net的成功构建为深度学习算法深度挖掘医学图像解剖学结构特征提供了有效验证依据；CNN-SRR算法首次完成弱监督条件下的皮肤癌病变区域分割，同时提供了分割区域的语义-视觉线索，能够更好的辅助医生理解和解释算法预测结果。
方法及结果：首先，针对椎间孔狭窄症MR图像的自动多分级问题，设计了一种结构简单且高性能的结构化深度学习模型；其次，针对脊柱多结构的检测、轮廓分割和病变分类/分级多个任务，结合多结构和多任务之间联合学习的思想，构建了一种用于全局模式下脊柱多结构疾病诊断的渐进式多任务联合学习模型；最后，针对皮肤癌弱监督病变区域检测和精准分割难题，提出一种基于超像素区域响应的弱监督皮肤癌图像分割算法。
（1）椎间孔狭窄症的术前定性分级诊断，对临床医生治疗策略的制定和患者健康恢复至关重要。目前医生主要采用人工测量评估的方式对椎间孔狭窄症进行诊断，该方法易受医生主观因素等影响存在诸多问题。为提高计算机辅助椎间孔狭窄症诊断准确率，及医生诊断工作效率，本研究提出一种基于深度学习的椎间孔狭窄图像自动分级算法。首先，从人体矢状切脊柱核磁共振图像中提取脊柱椎间孔图像，并做图像预处理；其次，设计一种监督式深度卷积神经网络模型，用于实现脊柱椎间孔图像数据集的自动多分级；然后，利用迁移学习方法，解决深度学习算法在小样本数据集上的过拟合问题。实验结果表明，所构建的IFS-Net算法在脊柱椎间孔MR图像数据集上的分类精确度可达到87.5%以上，且具有良好的鲁棒性和泛化能力。
（2）脊柱结构的同时检测，分割和分类，对基于发病机理的多种疾病早期诊断发挥重要作用。当病灶区域及其邻近结构被同时检测到时，它会为放射科医生根据发病机理诊断该疾病提供更多帮助。根据人体生理结构，脊柱多个结构之间是直接相互依存和相互影响的，而就深度卷积神经网络框架下的多重任务而言，不同任务之间也可以相互影响。脊柱整体模式下的多任务联合优化是寻求上述潜在相关性动态平衡的解决思路之一。本研究提出了一种新颖的端到端多任务多结构相关学习网络（MMCL-Net），用于实现三种脊柱结构（椎间盘，椎骨和神经孔）的同时检测、分割和分类，且对该模型进行局部优化以实现更稳定的动态平衡状态。对200名受试者T1/T2加权MR扫描图像的实验研究表明，MMCL-Net的mAP为0.9187，分类精度为90.67％，DICE系数为90.60％。
（3）对不同分期的皮肤癌病变进行精确的分割及识别，有利于早期发现、定位和治疗。考虑到获得图像像素级准确注释的成本，本研究提出了一种通过CNN响应超像素区域的皮肤镜图像弱监督分割方法(CNN-SRR)。CNN-SRR算法将基于深度卷积神经网络的改进分类器和无监督超像素算法结合在一起。首先，改进的分类器利用图像级标记数据训练模型参数使模型尽可能聚焦于图像病变区域。其中，病变区域响应的提取分为训练CNN分类器和反向传播分类器获得顶层峰值两个阶段。然后，将测试图像过分割成一组原始的超像素，并根据RGB通道最小距离融合局部超像素簇成若干区域作为预分割提议，最后将有一个提议通过非最大抑制方法获取的病变区域响应和预分割提议的最大匹配值激活作为最终分割掩码。在ISBI2017和PH2数据集上的定量定性实验证明，与监督分割方法相比，该方法能够有效区分病灶区域，甚至达到可以与强监督算法相当的分割性能。与无监督超像素分割算法相比，CNN-SRR算法的Jaccard系数和准确率分别提高了12.4%和3.3%。
结论：面向椎间孔狭窄症自动多分级任务，全局模式下脊柱多结构检测、分割和病变分类/分级任务，以及弱监督条件下的皮肤癌病变区域分割任务，本文提出了三种高效且优势明显的深度学习算法，分别是椎间孔狭窄症多分级算法（IFS-Net）、多结构多任务脊柱结构检测与分割算法（MMCL-Net）和采用超像素区域响应的CNN弱监督皮肤癌图像分割算法（CNN-SRR）。其中，MMCL-Net的成功构建为深度学习算法深度挖掘医学图像解剖学结构特征提供了有效验证依据；CNN-SRR算法首次完成弱监督条件下的皮肤癌病变区域分割，同时提供了分割区域的语义-视觉线索，能够更好的辅助医生理解和解释算法预测结果。