深度学习是人工智能领域的基础,近几年,在图像处理中深度学习的应用广泛,基于图像的任务有很多,比如图像识别、目标检测、目标分割等……,本文主要研究医学影像分割。本文中我们的研究对象为核磁共振医学影像(MRI)和正电子发射型计算机断层扫描影像(PET),分别为低场强的腹部MRI影像和脑部MRI和PET多模态医学影像。其中腹部MRI影像中的分割目标是胃部区域,属于人体自身器官,由于本文中腹部MRI影像主要辅助放疗过程中放疗仪聚焦,所以采用低场强MRI,使得影像质量较差,对比度低,胃部边缘模糊,不利于胃部分割,为得到良好的分割结果,本文提出了基于迁移自编码网络约束的全卷积神经网络分割方法。脑部影像的分割目标是癫痫病灶区域,属于脑组织病变区域。脑部影像主要包含MRI影像和PET影像,针对脑部MRI/PET多模态影像,本文提出了多模态特征融合的全卷积神经网络(Ynet),该网络能够同时利用MRI和PET影像对癫痫病灶进行学习,并结合了前景背景互补的分割思想。综上,本文具体研究了以下三方面。(1)提出了一种基于胃部标签的自编码网络约束的全卷积神经网络迁移学习方法。采用全卷积神经网络U-net作为基本网络,并构造一个自编码网络用于学习胃部区域标签的结构信息,将训练好的自编码网络分别作用于腹部MRI影像的标签图和U-net网络对腹部MRI影像的分割结果图,分别生成两个重构图img1、img2,利用img1和img2构造一个Dice损失来引导U-net基本网络的优化方向。U-net网络结构是完全对称的,网络结构简单描述如下:四次下采样层,下采样层之间包含卷积核数目不同的卷积层,四次上采样层,上采样层之间同样包含卷积核数目不同的卷积层,下采样结构层又称作编码层,上采样结构层又称解码层,在编码层和解码层之间有跳跃连接层,跳跃连接层用来将浅层卷积特征和深层卷积特征融合,联合了高层语义和底层的细粒度表层信息,能够很好的符合分割对高层语义信息和底层细粒度表层信息的依赖。用U-net网络首先在高质量的腹部MRI影像上学习胃部区域的纹理信息,并且使用低质量影像的标签训练自编码网络,以学习胃部区域的轮廓、形状信息,再将学习好的网络在低质量的腹部影像上进行fine-tuning。(2)提出了一种基于多模态特征融合的前背景互补癫痫病灶分割方法。该多模态网络的两个支网络分别用于学习MRI影像特征和PET影像特征,支网络的网络结构采用U-net的编码解码结构。多模态网络的深层结构用于将支网络提取的MRI影像特征和PET影像特征进行特征融合,融合的方法我们采用了特征层叠加、特征层加权求和,实验表明特征叠加的方法更适用于癫痫病的多模态影像特征的融合和分割。另外,我们采用以上模型着重学习非癫痫病灶的背景区域,采用基于背景学习的模型和基于癫痫病灶的学习模型在决策级进行分割结果融合,实验表明结合基于背景的分割方法能够对仅基于前景分割的方法进行一个补充和改善。(3)对于医学影像数量少,不足以使网络充分学习影像数据分布规律的问题,前两个工作中我们采用了简单的图像处理方法进行图像扩充,这样扩充的数据与原始数据相似性较高。为了进一步充分利用有限的影像数据,我们提出了基于CycleGAN进行影像模态转换的癫痫病灶分割方法。首先利用CycleGAN训练学习MRI和PET影像之间的映射关系,从而能够实现两种模态之间的相互转换获取更多的样本。实验表明从MRI到PET的转换更具有真实性,使用生成的PET影像能够改善分割结果。