显微图像中细胞核的检测和分割对生物医学研究和临床实践具有重要意义,包括细胞核形态分析、癌症诊断和分级。然而,由于显微图像中存在染色不一致、目标和背景存在显著差异以及人为噪声等特点,再加上在显微图像中大多都是小目标且有覆盖和粘连的情况,从而导致鲁棒、精确的细胞核检测和分割非常具有挑战性。在目前的临床实践中,依靠病理学家手动评估疾病进程不仅需要专业知识,而且手动检查过程主观且耗时。近年来,深度学习方法在显微图像分析方面大放异彩,深度卷积网络是其不可忽视的重要组成部分,它通过提取图像特征并进行结合、变换,形成更高级别的语义特征,具有强大的建模能力。本文的主要研究内容是一种基于区域卷积神经网络的显微图像细胞核检测和分割方法。（1）提出了基于区域卷积网络的显微图像细胞核检测算法由于显微图像中存在染色深浅不一、细胞类型多样、细胞核聚集和粘连的情况,导致显微图像细胞核检测具有挑战性。为了应对这一挑战,本文提出了一种新的基于区域的卷积网络。特别是,采用将引导锚框（Guided Anchoring,GA）集成到候选区域网络（Region Proposal Network,RPN）中的GA-RPN模块来生成更适合细胞核检测的候选框。本文提出了一种新的分支Io U Head模块,用于回归检测框与其相应的真实标签（GT）之间的交并比（IoU）,以定位边界框。为了减少粘附和聚集细胞核的漏检率,本文将融合的框评分（Fusioned Box Score,FBS）传递到Soft NMS中,以保留真阳性候选框。与现有先进的方法相比,本文的方法在两个具有挑战性的公共数据集上取得了更好的检测性能。（2）提出了基于Mask-RCNN的显微图像细胞核实例分割方法。由于显微镜图像细胞核的实例分割效果受检测框质量的影响,实例分割效果越好,代表检测框质量越高。因此,为了进一步验证所提出的检测方法的有效性,本文提出了基于Mask-RCNN的显微图像细胞核实例分割方法。本文利用准确的检测来指导分割的思想,首先通过提出的检测算法得到边界框中目标细胞核的位置,然后在边界框区域中进行实例分割。本文的分割模型卷积网络采用Mask-RCNN中的原始掩模头。实验表明,相对于其他方法,该细胞核分割结果也达到了可竞争的性能,从而进一步验证了所提出的检测算法的先进性。