由于全球癌症的发病率和死亡率逐年增长,癌症已经成为导致人类死亡的第二大疾病。癌症是由分子畸变导致正常细胞失控所引起的疾病,其特点是癌细胞不受控制地生长,癌细胞不仅在原发部位快速生长,通常会转移并扩散到身体的其他健康部位,使病情进一步恶化。近年来,计算机辅助诊断技术方法在医学图像分析任务中得到广泛应用,其采用图像分析和计算技术对医学影像进行有效处理,客观评价明显部位,极大的提高了医学诊断的准确性、速度和自动化水平。尽管计算机辅助诊断技术在医学诊断中发挥了巨大的作用,但现有的组织病理图像细胞核分割方法中仍然存在着细胞核差异性和细胞核粘连的问题,这限制了细胞核分割的精度。在癌症治疗中,分析病理细胞核、判断癌细胞的状态对于癌症诊断至关重要。因此,克服这两方面的问题、提高细胞核分割的精度值得研究人员深入研究。在组织病理图像细胞核分割中面临着两方面的问题。一方面,癌症细胞核的大小、形状和染色模式在不同器官和癌症分期中具有很大的差异性,多种差异导致病理专家难以得到一致的分析结果。另一方面,经过染色的细胞核簇区域之间的细胞核有粘连状况,细胞核之间的边界模糊难以区分,导致细胞核实例难以量化。这些因素给细胞核分割带来了极大的挑战。针对以上问题,本文将病理图像细胞核分割作为研究目标,开展相关研究。本文将细胞核分割问题看作两个相关的任务:像素级别的分割（语义分割）和实例级别的分割（实例分割）。语义分割对图像每个像素进行分类,解决细胞核特征差异性大的问题,增强分割结果的客观性。实例分割不仅需要识别像素的类别,还需要为每个核像素注明所属的细胞核实例,因此可以在粘连的细胞核簇中区分每个细胞核并得到具体的细胞核量化结果。本文的主要贡献和创新点主要包括以下两部分:（1）本项研究根据H＆E染色的组织病理图像中细胞核的特点,提出了基于边缘点的细胞核语义分割模型。本文对病理图像染色进行了分析,根据细胞核与其他部分的颜色特征差异提出对细胞核的边缘进行倾向性采样的策略,从边缘点的角度对细胞核进行语义分割,得到了AJI指数69.15%和Dice指数81.76%的精确度,提升了细胞核语义分割的效果。（2）本文提出了基于可变形多级特征网络的细胞核实例分割模型,在特征和分割两个阶段对细胞核实例分割的过程进行了研究,对传统卷积神经网络的特征提取、特征融合以及掩码分割阶段进行了改进与增强,在Mo Nu Seg 2018数据集上的m AP和m AR分别达到了37.8%和47.4%,提升了细胞核实例分割的效果。