基于医学影像的疾病诊断在现代医疗中发挥着越来越重要的作用,由医生观察大量的医学图像进行分析诊断是一件耗时耗力的工作,计算机辅助诊断对于提高癌症的诊断效率和准确性具有重要意义。细胞核图像分割是医学图像自动分析的基础、也是计算机辅助诊断的重要组成部分,由于细胞核图像的对比度低、细胞核空间分布差异较大、细胞间易形成粘连等特点,使细胞核图像的精确分割是医学图像自动分析的难题之一。本文在深度学习图像分割算法的基础上,对其进行优化以实现细胞核图像的准确分割。（1）针对U-Net网络在分割细胞核图像时存在过分割的问题,在其编码网络加入空洞空间金字塔池化模块提高网络特征提取能力,并对损失函数做出改进,实验表明本文改进的U-Net网络各项分割指标均高于U-Net和SegNet,显著高于FCN₈s网络和几种传统分割方法。（2）针对基于像素分类的全卷积神经网络无法区分不同细胞核实例的问题,使用基于凸缺陷检测的方法在后处理中分离重叠细胞核,实验结果表明该方法提高了细胞核实例分割评价指标平均准确率和F1值。（3）针对全卷积分割网络需要结合后处理来分割重叠细胞核的问题,在Mask RCNN的基础上构建细胞核实例分割网络。以SE-ResNet作为特征提取网络、在特征金字塔网络中增加自底向上的特征融合,应用soft-NMS算法过滤候选框和目标边框,实验表明该模型在一定程度上提高了实例分割网络的性能。