现有的研究表明，抑郁症、阿尔茨海默病（Alzheimer disease，AD）、轻度认知障碍等精神疾病已成为21世纪对社会和经济发展影响重大、严重危害个人健康和家庭生活的常见疾病。如何阻止、延缓、治疗以及预防精神障碍疾病等带来的脑功能失调问题成为医学研究者的研究重点。有新的研究证明大脑的尾状核区域与悲观情绪的情感决策高度相关，这有望帮助科学家提高对抑郁症的理解和治疗。而在对该区域的分析研究过程中，尾状核的识别分割是最为基础且重要的步骤。研究人员可通过对原始图像的分割，提取相关特征，对图像进行压缩降维，从而减少运算量，对图像的分类识别起到重要的辅助作用，也可更好的满足三维重建时的实时性和精度要求。
　　传统医学图像分割是由专业医生根据目标位置或实际解剖结构通过手动分割完成。但是图像数据量如此之大，导致图像分析和分割的工作量巨大。由于计算机图像处理技术的发展，一些传统的图像处理方法已广泛应用于医学图像分割中。随着机器学习和深度学习技术在图像分类识别应用上的快速发展，基于神经网络的图像分割技术层出不穷，这些技术同样可以应用在医学图像分割上，医务人员得以进行快速高效的分割工作。
　　本文基于深度神经网络，对脑核磁共振成像（Magnetic Resonance Imaging，MRI）图像尾状核的分割方法进行研究。本文主要研究工作如下：（1）基于U-Net卷积神经网络进行脑MRI图像尾状核分割，提出两阶段分割模型YOLOv3-U-Net。先对脑MRI图像训练集预处理得到尾状核区域框的中心坐标及该区域的分割图，用于训练YOLOv3网络和U-Net网络。之后用训练好的YOLOv3模型进行测试集的尾状核区域检测，得到带尾状核的检测区域图，并将其作为已训练好的U-Net模型的输入进行预测分割，最后结合预测分割结果图和检测区域图的对应中心坐标进行扩充恢复成原始图像大小，得到最终的分割结果图。（2）基于Mask R-CNN模型进行脑MRI图像尾状核分割。针对数据集训练样本不足的问题，本文对数据集采用数据增强技术，通过旋转、平移、水平/垂直翻转等方法扩充数据图像。其次，采用基于参数的迁移学习方法，即把已经用COCO数据集训练好的Mask R-CNN网络模型迁移到本文的脑MRI图像数据集上进行微调训练，实现预训练模型的参数共享，可以有效减少训练时间与训练难度，得到较好的分割效果。最后，本文使用一种传统的半自动分割方法，即距离正则化水平集演化（Distance Regularized Level-Set Evolution，DRLSE）模型，对脑MRI图像进行尾状核分割。通过对比YOLOv3-U-Net模型、Mask R-CNN模型和DRLSE模型的分割结果，本文得到以下结论：基于深度神经网络的全自动脑MRI图像尾状核分割方法要优于传统的半自动的DRLSE演化方法。其中YOLOv3-U-Net模型得到的Dice相似性系数最高，实现准确高效的分割。