尿沉渣检查在肾脏疾病和泌尿系统疾病的诊断和鉴别中具有重要的作用,是医院常规检查项目之一。基于图像处理的尿沉渣显微图像分析是尿沉渣检查的重要手段,它主要包括尿沉渣显微图像中的有形成分分割和分类两部分。虽然目前基于深度学习的图像分割和分类研究已经取得较大的进展,但由于采集到的尿沉渣显微图像通常具有散焦模糊、背景噪声、有形成分边缘轮廓不清以及细胞粘连等问题,简单的基于卷积神经网络(Convolution Neural Network,CNN)分割尿沉渣显微图像中的有形成分,常会出现分割出的有形成分边缘不平滑,噪声点多,以及分割不够完整等问题。再有尿沉渣有形成分种类繁多、成分复杂、类间相似,类内差异大以及用于训练CNN的尿沉渣显微图像样本较少等问题,会造成卷积神经网络的分类性能不稳定。为此,本课题首先提出生成式对抗分割网络用于分割尿沉渣显微图像,其次提出基于迁移学习和集成CNN的分类方法用于尿沉渣显微图像分类,以提供可靠的尿沉渣显微图像有形成分分析结果。可见,本文的研究具有很大的学术价值和实用意义。本文开展的主要工作如下:(1)充分调研国内外关于尿沉渣显微图像分割和分类的相关研究方法。通过分析尿沉渣显微图像及有形成分的特点,总结出尿沉渣显微图像有形成分分割和分类的技术难点。深入研究卷积神经网络相关理论基础,特别是其在医学图像分割和分类领域上的应用。(2)开展尿沉渣显微图像有形成分分割方法研究。针对尿沉渣显微图像中有形成分边缘不清晰,细胞粘连,散焦模糊等问题。本文基于生成式对抗网络的思想,设计一种生成式对抗分割网络(Segmentation Generative Adversarial Networks,SGAN),用于尿沉渣显微图像有形成分分割。其中生成网络是利用残差结构和反卷积结构搭建的14层深度卷积分割网络,用于学习尿沉渣显微图像的分布规律,生成有形成分的分割图像。判别网络是利用残差结构设计的二分类网络,用于判别生成的有形成分分割图像与标签图像之间的差异,以区分分割图像与标签图像。通过生成网络和判别网络的对抗训练,使生成的有形成分分割图像更加靠近标签图像。同时,本文还采用二分类交叉熵函数和感知损失函数作为生成网络的损失函数,用以增强分割出的有形成分的轮廓细节。(3)开展尿沉渣显微图像有形成分分类方法研究。针对尿沉渣有形成分种类繁多,成分相似,以及标签样本少等问题。本文提出基于迁移学习和集成CNN的尿沉渣显微图像有形成分分类方法。针对尿沉渣显微图像数据集较小,不足以训练CNN的问题,本文利用迁移学习思想,将在ImageNet数据集上预训练的卷积神经网络权重迁移到尿沉渣显微图像上,再通过微调CNN的参数如学习率,优化其分类性能。为了增强CNN的特征提取能力,本文通过可视化对CNN不同卷积层提取的特征进行分层特性分析,将CNN中第二、三卷积块的最后两个卷积层提取的特征级联起来。由于AlexNet提取的特征比较冗余,影响其泛化能力,本文提出改进的AlexNet,利用两个全连接层(FCA1,FCA2)替换AlxeNet中的FC7层,并将特征尺寸减小至1024维。鉴于单一CNN在有形成分特征提取时各具优势,本文集成ResNet50,GoogLeNet和改进的AlexNet,以较大程度的提高尿沉渣显微图像有形成分的特征描述能力。(4)设计全连接神经网络用于有形成分分类。由于集成CNN提取出的特征维数很大,冗余特征较多,会引起分类不准确。为此,本文构建一个全连接神经网络(Fully Neural Network,FNN)作为分类器,在提高分类性能的同时加快分类速度。(5)为了验证本文提出的尿沉渣显微图像有形成分分割和分类方法的有效性,本文在Tensorflow框架下开展了分割实验,结果表明:本文提出的分割方法得到的有形成分的边缘更加平滑,独立性更好,完整性更高。在Caffe框架下开展了分类实验,结果表明:本文提出的分类方法较大的提高了尿沉渣显微图像有形成分的分类准确率。