论文部分内容阅读
骨龄一般是指青少年儿童骨骼的发育水平与骨发育标准相比较所得到的发育年龄。与生理年龄相比,骨龄对于评价儿童的生长发育、疾病诊断、临床治疗的监测等都有重要的意义。通过左手正位X光平片进行读片是现阶段骨龄评测的主要方法。人工读片的方法需要专业医生对影像中手部骨骼的生长阶段进行判断,人工读片的方法效率较低、主观性较强,所以自动化骨龄评测是当前的一个研究热点,许多学者进行了相应的研究与探索,但是目前已有的自动化方法仍有可以改进的空间。在骨龄自动化评测中涉及的要点范围较广,需要在每一个模块进行相应的研究与改进以提高整体的性能。由于问题的复杂性,仅依靠传统图像处理技术难以满足全部的要求且解决问题的方法有限。新的人工智能理论和技术的出现为骨龄自动评测提供了新的思路。本文在分析调研大量国内外文献的基础上,与国内骨科及影像学专家紧密合作,对基于左手正位X光平片的骨龄评测做了系统研究,包括传统图像处理上的改进以及基于深度学习网络的研究与搭建。主要研究内容和成果如下:基于阈值分割和边缘提取相结合的腕骨分割及识别方法。针对低龄儿童时期腕骨区域骨化点数量及形状的不确定性、骨块及周围软组织的灰度值不均匀、对比度较小等问题,提出了一种基于阈值分割和边缘提取相结合的腕骨分割及识别方法。该方法将基于区域的分割方法与基于边缘的分割方法通过异或操作相结合,利用两种方法各自的优点,互相弥补不足,可以解决基于区域分割中常出现的过分割或欠分割问题,也可以解决基于边缘分割时得到的边缘不闭合或者虚假边缘问题,提高了基于传统图像处理方法分割的准确度。该方法的结果可以直接作为分割结果输出,也可以作为初始分割结果进行后续的边缘优化。本方法在500套左手正位X光图像上进行了验证,其中在30套具有代表性的腕骨图像上用分水岭算法或主动轮廓算法优化后的平均Dice系数可分别达到0.976±0.006及0.965±0.008。基于分割结果我们还通过统计得到了一个腕骨区域量化模型,该模型可用于腕骨区域的自动识别。基于生成式对抗网络和最优传输相结合的数据增强方法。样本不均衡且一些类别样本量少是基于深度学习的骨龄评测任务中一个常见问题。传统的数据增强方法主要通过图像的仿射变换等增加样本数量,但是增强的数据相互之间关联性较强,添加的特征较少。本研究提出了一种基于生成式对抗网络和最优传输相结合的数据增强方法CNN-GAN-OTD。该方法采用对抗网络的形式,由于原始对抗网络在损失函数的定义上不合理,我们通过最优传输的策略对对抗网络的损失函数进行改进,将问题转变为寻找生成数据分布与真实数据分布之间的最小传输距离。在对传输距离的定义上,我们采用了对尺度和异常值都不敏感的余弦距离作为传输距离的基本形式。同时将原始对抗网络中的多层感知机结构替换为卷积神经网络。实验结果表明本方法采用IS系数和FID系数对公开数据集CIFAR-10进行直接比较时,无论是基于原始数据的生成结果还是基于添加噪声的原始数据的生成结果,IS系数和FID系数都取得了很好的结果,且对噪声的敏感度较低;在作为数据增强模块用于骨龄分类的间接比较上,基于CNN-GAN-OTD数据增强的分类结果也优于基于其他数据增强方法的分类结果。基于生成式对抗网络和最优传输相结合的分割方法。本方法是对基于生成式对抗网络和最优传输相结合的数据增强方法的一个延伸应用。在完成分割任务时,对抗网络中的生成器用于实现分割功能,生成分割预测概率图,而判别器则用于计算分割预测概率图掩膜分布与分割金标准掩膜分布之间的传输代价,通过对抗训练的不断优化,最终输出分割结果。在本方法中,我们在数据增强方法的基础上仅对生成器进行了相应的改动,将其替换为U-Net++以实现分割功能,判别器则沿用数据增强中的形式。在实验中,本方法被用于与基于阈值分割和边缘提取相结合的腕骨分割相同的数据集,在相同的测试集上得到了平均Dice=0.987的分割精度,优于之前我们提出的基于传统图像处理改进的方法,但是基于传统图像处理的方法在综合考虑效率与准确度的前提下仍然是一个很好的选择。另外,本方法还被用于公开数据集DRIVE的视网膜血管分割,在视觉上,本方法对一些细小的血管分割较为准确,测试集上的平均准确度=0.974,在使用相同数据集的其他方法中也处于领先的位置。基于不同标签输入顺序的骨龄分类训练方法。最后,综合我们所有的研究结果,提出了一个完整的骨龄分类训练网络。该网络包含三个主要的子网络,我们对每一个子网络都进行了相应的研究与改进,最后组合成为最终的训练架构。首先是图像预处理子网络,它采用在基于阈值分割和边缘提取相结合的腕骨分割及识别方法中提出的手部感兴趣区域提取的方法,去除掉原始图像上的背景,将图像进行归一化,提高了后续训练的效率和准确度。其次是数据增强子网络,这一部分采用基于生成式对抗网络和最优传输相结合的数据增强方法,通过生成高质量的新数据实现较为有效的数据增强。最后是分类训练子网络,由于骨龄的分类可以视为一个简单的多标签数据分类问题,我们考虑了不同标签在分类任务中的重要性,研究了不同标签输入顺序对结果的影响,不同于很多现有方法的先性别训练策略,我们选用了后性别的训练方式,即先去除性别标签,将图像与骨龄金标准进行训练后再与性别信息进行特征融合输出最终分类结果。同时,在主体分类网络部分,我们对比了有监督Inception v3网络、半监督GAN网络以及回归网络,最终选择了有监督Inception v3网络。综合上述对每一个子网络部分的改进,最终我们的骨龄分类系统在RSNA公开数据集上的平均绝对误差为4.23月,优于现有文献中的结果。