目前许多图像分割方法通常依赖于图像的颜色、梯度等底层信息对图像进行分割,当图像中的目标与背景有较大差异或者二者具有易于区分的特征时,往往能得到正确的分割结果。但是当图像中目标与背景信息相近、背景复杂、目标被遮挡、存在阴影等影响因素时,仅依靠图像的底层信息,往往得不到正确的分割结果,存在目标被分成背景或者背景被分成目标的错分情况。而待分割图像目标形状作为最直观的高层全局特征,考虑把形状与图像分割方法相结合,指导图像分割过程,得到正确完整的目标。因此目标形状的表示是至关重要的。当形状是多类或者是同类但大小、姿态等存在较大差异时,使用主成分分析或活动轮廓模型等传统的方法不能够更好的表达形状。针对此问题,本文提出新的建模形状的表示方法,并研究形状在图像分割中的应用,使用形状先验辅助图像分割过程,得到完整的图像目标。根据以上分析,本文基于深度学习理论对形状建模进行研究,并研究使用建模得到的形状作为先验信息,改善分割效果,提高分割正确率。具体的研究内容如下:(1)受限玻尔兹曼机(RBM)、深度信念网(DBN)、深度玻尔兹曼机(DBM)、形状玻尔兹曼机(SBM)是深度学习的生成模型,能够根据模型表达的联合概率分布建模表示形状。这四个模型结构各不相同,表达的概率分布不同,因此建模生成的形状存在差异,表达形状最好的是SBM,其次是DBM,次之是DBN,最后是RBM。但是该类模型存在一个共同的问题:图像拉成一维向量作为输入,忽略图像的二维空间结构。针对该问题,本文提出新的建模表示形状的深度学习的概率生成模型—一卷积受限玻尔兹曼机,文中给出该模型的结构、构造过程、数学表达、模型特点。(2)为了解决图像中目标形状的表示问题,提出基于卷积受限玻尔兹曼机的形状建模方法。根据该模型表征的联合概率分布,可用于建模表示和生成形状,给出模型训练和生成形状的方法。该模型具有权值共享和局部感受野的机制,以图像二维结构作为输入,保留图像的空间结构信息,且能较好的提取图像的局部信息。在WeizmannHorse数据集和Caltech101 Silhouettes数据集上进行实验,结果表明,和深度学习其他模型相比,不论是表达大小、姿态等存在较大差异的同类目标还是表达不同类别的目标,该模型具有更好的建模形状的能力,且所提模型对建模形状的细节能够很好地表达出来,使形状看起来更清晰、符合实际,并使用欧氏距离衡量生成的形状图像与原始形状图像的差异。(3)为了解决水平集图像分割存在的问题,提出结合目标先验形状信息的水平集图像分割方法。水平集图像分割方法是基于能量的分割方法,可通过增加能量项施加新的约束,通过卷积受限玻尔兹曼机表示目标形状,定义形状能量项,加入到原分割方法的能量函数中,得到包含形状先验信息的新的能量函数,对该能量函数对应的Euler-Lagrange方程进行求解,得到能量函数的最小值,从而得到形状约束的图像分割结果。在Weizmann Horse数据集上进行实验,结果表明,与未加入形状信息的分割结果相比,形状信息的加入,改善了图像的分割结果,提高了分割精度。