宫颈细胞学筛查对于宫颈癌的预防及诊治具有重要的临床意义,借助图像处理方法可实现快速准确的细胞分割,消除了传统人工阅片的诸多弊端。宫颈细胞图像通常存在大量的重叠细胞,给这一研究带来了巨大挑战。因此,本文对复杂宫颈细胞图像中的单个细胞分割,即细胞实例分割方法进行了深入研究,从不同的角度出发提出相应的细胞实例分割方法并进行分析对比。首先,从图像能量的角度出发实现基于主动轮廓的细胞实例分割。该方法在宫颈细胞图像语义分割的基础上,针对包含重叠细胞的细胞团块,根据先验信息为团块中每个细胞初始化轮廓并建立能量函数,通过最小化能量函数完成细胞团块中细胞的分割。然后,受到目标跟踪的启发,将细胞分割问题转换为轮廓跟踪问题。在确定细胞核位置后,以细胞核为中心建立极坐标系,并选定合理的轮廓点作为初始状态,结合细胞形状信息及图像语义分割信息,寻找序列角度下的目标半径,完成细胞轮廓的跟踪,得到细胞轮廓从而完成细胞实例分割。最后,本文还从深度学习的角度考虑细胞的实例分割问题,分别将注意力机制与改进U-Net网络应用于重叠细胞的分割。分别训练不同的学习网络用来进行图像的语义分割与实例分割,然后,以级联的形式实现端到端的细胞实例分割。最后,将不同方法进行对比,根据实验结果分析各个方法的优缺点。本文研究宫颈细胞图像的实例分割,实验结果表明,本文方法可解决复杂宫颈细胞图像中的细胞实例分割问题,对包含重叠细胞的宫颈细胞图像的分割具有一定的研究价值和实际意义。