论文部分内容阅读
基于医疗影像的计算机辅助诊断技术一直以来都是计算机应用领域的研究热点,医学影像数据获取的可控性和实际临床诊断的需求为深度学习的落地提供了应用场景。本文主要探讨了基于多参数核磁共振图像进行肝细胞癌分化程度无创评估的深度学习解决方案,结合放射科医生的临床诊断经验和核磁共振影像的特点,以多参数核磁共振成像数据为基础研究多模态数据融合方法,分别提出了多通道三维卷积神经网络、多尺度深度残差网络用于提取三维医学影像数据和二维融合医学影像数据的特征,同时面向肝细胞癌的临床影像数据病例不足问题,验证了迁移学习、度量学习在医学影像分类中的作用。本文的主要工作和创新点有以下几点:(1)完成了多参数核磁共振成像的肝细胞癌影像数据集构建及预处理。根据国内外学者的研究成果和医生的临床诊断经验,确定以多参数核磁共振成像为研究对象,以专业医师采集、标注和病理检查证实为肝细胞癌的多参数核磁共振成像的临床影像为基础,构建医学影像数据集,具体数据包括:T2加权成像(T2weighted imaging,T2WI)、T1加权成像同反相位、磁共振动态对比增强成像(Dynamic contrast enhanced MRI,DCE-MRI)三种模态的数据;分别使用了数据增强和样本重采样的方法来改善样本数目少、样本不均衡问题。(2)提出一种多通道融合的三维卷积神经网络架构,提取DCE-MRI图像时空特征。以三维卷积神经网络作为基础架构,根据DCE-MR图像具有空间信息和时序信息的数据特点,提出一种基于张量的数据表示模型和一种数据融合模型,探究不同数据表示方法和网络结构所提取的DCE-MR图像的特征在影像认知计算中的效果。在数据融合策略方面,提出了多通道输入融合的三维卷积神经网络,在数据层面和特征层面融合数据,最大限度地提取DCE-MRI图像的时间特征和空间特征,在区分肝细胞癌(Hepatocellular carcinoma,HCC)和肝硬化背景以及HCC分化程度评估任务中均具有更好的分类结果。(3)提出综合利用数据融合、迁移学习和多尺度特征提取的方法,建立医学影像辅助诊断深度学习模型。根据多模态影像在诊断决策中的互补性,在使用多个模态融合决策时,寻找互补的模态数据进行融合能有效提升诊断效果;通过实验证实了虽然自然图像和医学影像有明显的差别,但使用在自然图像数据集上训练过的模型作为网络的初始化,可以确保和加快训练的收敛,同时提升模型在测试集上的表现;提出多尺度特征提取模型,增强了模型的鲁棒性,进一步提升了医学影像分类效果。(4)借助度量学习的思路,将医学影像的分类问题转化成医学图像样本之间相似程度的度量问题,验证度量学习方法在医学图像训练数据缺乏的情况下的效果。通过度量学习方法指导医学图像的特征提取过程,缩小具有差异性的个体数据在特征空间中的距离,提升算法的效果。