论文部分内容阅读
多模态医学影像可以反映人体不同组织的不同视觉特征,已成为人工智能、生物医学、计算机科学等学科的主要研究对象。基于多模态医学影像的病灶分割可应用于疾病诊断、术前方案、智能医疗和医学大数据分析等研究领域。近年来,随着深度学习算法的快速发展,基于深度神经网络的多模态病灶分割已取得了较大进展。然而,受扫描时间、采集成本等因素的影响,临床上有效的多模态影像数据样本少,因此不利于以数据驱动的人工智能算法在该领域的应用。与此同时,因为病灶是复杂的生理现象,且病灶影像表征具有特异性、不稳定性、异质性等特征,所以病灶分割的准确性、普适性较低。本文针对临床多模态影像数据缺乏和多模态病灶分割准确率较低两个问题,从理论研究和算法应用角度出发,以脑肿瘤和脑卒中的多模态磁共振成像（Magnetic Resonance Imaging,MRI）为研究对象,以循环一致生成对抗网络（Cycle-consistent Generative Adversarial Networks,Cycle GAN）为基础网络,提出了三种多模态医学影像生成及病灶分割算法,并应用于现有的公开竞赛数据集,实现了多模态影像生成和高精度脑部病灶分割。本文的主要研究工作如下:（1）提出基于感知循环一致性的生成式多模态影像生成与分割网络（Perceptual Cycle-consistent Generative Cross-modality Segmentation,PerCycle GAN-CMS）。首先,提出基于感知循环一致生成对抗网络（Perceptual Cycleconsistent Generative Adversarial Networks,Per-Cycle GAN）的脑肿瘤多模态影像生成算法。Per-Cycle GAN以Cycle GAN为基础网络,增加感知一致性损失,构建新网络,生成高质量的新模态影像。感知一致性损失在多层语义级上约束生成影像与目标影像的映射关系。其次,将Per-Cycle GAN与级联各向异性卷积神经分割网络级联,构建Per-Cycle GAN-CMS,实现脑肿瘤病灶分割。将PerCycle GAN-CMS算法应用于Bra TS2015（Multimodal Brain Tumor Segmentation Challenge 2015,Bra TS2015）数据集。实验表明,（a）本文提出的Per-Cycle GAN的多模态生成性能优于Cycle GAN。Per-Cycle GAN在四种情况下生成影像的峰值信噪比（Peak Signal to Noise Ratio,PSNR）、结构相似性（Structural Similarity Index,SSIM）和均方误差（Root Mean Square Error,RMSE）三项客观指标均可满足临床应用需求,即:T1→Flair（23.859,0.867,17.315）、Flair→T1（24.546,0.896,16.421）、T1→T2（25.544,0.902,14.196）、T2→T1（24.206,0.908,17.328）。（b）本文提出的Per-Cycle GAN-CMS算法的分割效果高于单个输入模态时的分割指标。以真实T1+生成Flair为例,Per-Cycle GAN-CMS算法的Dice系数（0.679）、敏感性（0.678）、Hausdorff95距离（19.487）优于真实T1的Dice系数（0.633）、敏感性（0.612）、Hausdorff95距离（19.674）。由此可见,本文提出的Per-Cycle GANCMS可以强化病灶细节信息,提高生成模态质量,提升病灶分割客观精度。（2）提出基于双尺度感知循环一致性的生成式多模态影像生成与分割网络（Dual-scale Cross-modality Perceptual Cycle-consistent Generative Cross-modality Segmentation,Dual CMP-GAN-CMS）。首先提出基于双尺度感知循环一致生成对抗网络（Dual-scale Cross-modality Perceptual Cycle-consistent Generative Adversarial Networks,Dual CMP-GAN）的脑肿瘤多模态影像生成算法。Dual CMPGAN以Per-Cycle GAN为基础网络,在生成器中引入空洞残差模块,从而充分保留图像细节结构和上下文信息。其次,构建双尺度图像块判别器,通过判别不同大小的图像块优化生成器,使得网络能表征多尺寸病灶。最后,将Dual CMPGAN与级联各向异性卷积神经分割网络进行级联,构建Dual CMP-GAN-CMS,实现脑肿瘤病灶分割。将Dual CMP-GAN-CMS算法应用于Bra TS2018数据集。实验表明,（a）在T1→Flair、Flair→T1、T1→T2、T2→T1四种情况下,由Dual CMPGAN生成的影像的客观指标优于Disco GAN（Discover Generative Adversarial Networks,Disco GAN）、Cycle GAN等算法,即:PSNR（23.970、24.564、25.802、24.560）、SSIM（0.866、0.894、0.909、0.910）和RMSE（16.979、15.937、13.695、16.112）。（b）与此同时,本文提出的Dual CMP-GAN-CMS算法的分割效果显著高于单个输入模态时的分割指标。以真实T1+生成Flair为例,Dual CMP-GANCMS算法的客观指标Dice系数（0.702）、敏感性（0.648）、Hausdorff95距离（14.843）均优于真实T1的Dice系数（0.619）、敏感性（0.529）、Hausdorff95距离（18.657）。由此可见,本文提出的Dual CMP-GAN-CMS生成的影像较好地保留了脑肿瘤的结构、形态以及连通性,分割性能接近输入均为真实模态的分割结果,可作为脑肿瘤多模态影像分割的替代方案。（3）提出基于双尺度感知循环一致性和3D Res U-Net的生成式多模态影像生成与分割网络（Dual CMP-GAN-3D Res U）。首先,针对脑卒中边界不清晰等特点,提出基于3D Res U-Net的脑卒中多模态影像分割算法。3D Res U-Net以3D U-Net为基础网络,引入了残差结构,从而更充分地提取脑卒中影像的特征且克服了梯度消失问题。其次,3D Res U-Net网络的输入改为以病灶体素点为中心随机偏移采样图像块,可有效解决类别不平衡的问题。最后,将Dual CMP-GAN与3D Res U-Net进行级联,构建Dual CMP-GAN-3D Res U网络。将Dual CMP-GAN-3D Res U应用于脑卒中ISLES2015（Ischemic Stroke Lesion Segmentation 2015,ISLES2015）数据集。实验表明,Dual CMP-GAN-3D Res U算法的分割效果高于两个真实输入模态时的指标。以真实T1+真实Flair+生成T2为例,Dual CMPGAN-3D Res U的Dice系数高达0.732,比真实T1+真实Flair的Dice系数（0.706）提升了3.7%,可满足临床上对分割效果的要求。因此,本文提出的Dual CMPGAN-3D Res U算法对病灶特征不明显、边界不清晰的脑卒中影像具有良好的分割效果。综上所述,本文针对多模态影像样本少、病灶分割精度低的问题,提出了三种多模态MRI影像生成和脑部病灶分割算法,获得了较高的生成图像质量和客观分割效果。本文提出的Per-Cycle GAN-CMS算法可提高生成模态质量的同时提升脑肿瘤病灶分割客观精度;提出的Dual CMP-GAN-CMS算法可较好地保留病灶的结构、形态以及连通性;提出的Dual CMP-GAN-3D Res U算法可有效应用于脑卒中病灶分割。因此,本文提出的三种算法具有较好的算法创新性和实际应用价值。