图像分割是计算机视觉中一个古老而基础的研究课题，它已经成功的应用于很多领域，同时它是特征提取和图像理解研究的基础，因此图像分割受到越来越多研究人员的关注。图像分割就是把整个图像划分为一些有意义的区域的过程。在统计领域，图像分割被称为聚类分析，它被广泛的研究并且已经提出了许多算法。在聚类分析场景中，混合分布由于具有适合对异构现象建模、原理简单、直观并且容易实现等特点，并成功的应用于聚类问题，其中包括图像分割。然而有限混合模型(Finite Mixture Model, FMM)用于图像分割时认为图像像素之间没有任何关系，在噪声条件下得到的分割效果不理想。考虑了像素空间关系的马尔科夫随机场(MarkovRandom Field, MRF)模型在图像分割中得到了成功的应用。近年来，研究人员提出了很多FMM结合MRF的模型，并将这些模型成功的用于图像分割，然而仍然存在一些问题。本文利用像素之间的MRF关系对基于混合模型的图像分割方法进行研究。研究内容主要包括基于空间变化有限混合模型(Spatially Variant Finite MixtureModel, SVFMM)的计算效率及抗噪性能；学生t-分布与SVFMM的结合及在图像分割中的应用；隐马尔科夫随机场(Hidden Markov Random Field, HMRF)模型的隐含状态数目的确定及抗噪性。同时鉴于图像处理研究的重要实用价值，搭建了图像处理统一平台，从而为以后的科研构建了实验平台。本文对混合模型在图像分割中的应用进行了深入研究，取得的研究成果及主要创新点包括以下五点。1．针对空间变化有限混合模型在进行参数推理过程中得到的标签概率比例不是封闭解，需要额外的投影优化操作增加了模型的复杂度和降低了运行效率等情况，提出了一种新的空间变化有限混合模型(Spatial Directional Relationships-basedGaussian Mixture Mode, SDRGMM)，它的标签概率比例被显示的表示为概率向量从而避免了优化操作。在合成图像和模拟大脑图像数据上的实验表明了SDRGMM的有效性。2．利用学生t-分布比高斯分布具有更长尾部从而具有更好抗噪性能的特点，结合空间变化有限混合模型的优点，充分考虑图像像素之间的空间关系，提出了有向空间变化学生t-分布混合模型(Directional Spatially Varying Student’s t-distributionMixture Model, DSVStMM)。DSVStMM与其它一些基于马尔科夫随机场的模型相比具有较少的参数，因此容易实现。在合成图像和真实图像上的实验表明DSVStMM优于一些其它的模型。3．针对学生t-分布混合模型StMM(Student’s t-distribution Mixture Model)用于图像分割时未考虑像素之间的空间关系的缺点，利用像素之间的空间平滑信息，提出了新的学生t-分布混合模型，即基于空间平滑的学生t-分布混合模型(SpatiallySmooth-based Student’s t-distribution Mixture Model, SSStMM)。SSStMM将学生t-分布完全看成一个整体并利用梯度下降法对模型进行推理，而以前的文献将学生t-分布看成高斯分布的无限混合模型进行推理。图像分割结果的视觉和量化对比实验都证明了SSStMM的有效性。4．由于隐马尔科夫随机场(Hidden Markov Random Field, HMRF)用于图像分割时，存在隐含状态数目需要由用户预先设定的缺点，我们选择Dirichlet过程(无参数贝叶斯模型)作为HMRF的隐含状态的先验分布，同时结合学生t-分布和Dirichlet过程采用折棍表示的模型，提出了在折棍表示下的学生t-分布隐马尔科夫随机场模型(Stick-breaking Representation of HMRF based on Student’s t-distribution,SBHMRF-St)，模型中使用变分贝叶斯推理求解SBHMRF-St的参数。在伯克利图像集和微软剑桥研究院提供的彩色图像分割结果表明了SBHMRF-St优于其它一些基于Dirichlet过程的模型。5．鉴于图像处理研究具有重要的实用性，对已有的软件资源进行充分研究，我们搭建了一个统一的图像处理平台，该平台将三种开源软件ITK(InsightSegmentation and Registration Toolkit)、VTK(Visualization Toolkit)和Qt进行有效的结合。该平台能够方便的实现软件包已有算法的功能添加，减少了编程难度和提高了编程效率。