本论文研究最大似然法估计的期望最大算法(EM-Expectation Maximization)和隐马尔可 夫模型(HMM-Hidden Markov Models)的理论及其在图像分割和场景分析中的应用。对EM 算法和高斯混合分布模型(GMM-Gaussian Mixture Model)，HMM的理论及其在一些具体的领 域的应用进行了深入的研究，其主要创新点如下： 1、提出基于特征的EM算法。通常的EM算法是基于样本的算法。本文提出利用基于特 征的EM算法而不是用基于样本的EM算法来求解最大似然问题，可以加速计算。针对标准 EM算法进行聚类运算时以单个样本点为对象的特点，本文根据样本特征频数，计算直方图， 在此基础上提出了进行特征聚类估计的快速EM算法。在有限混合分布中，采用基于特征的 EM算法和基于样本的EM算法从本质上说是等价的；但是就算法的速度而言，在一定条件下， 前者相对于后者来说要快得多。再加上其他措施，算法的效率更有明显的提高。这在一定程度 上弥补了EM算法和最大似然法直接迭代法收敛速度慢的缺点。实验结果证明了该方法在速度 上的优越性。 2、指出直接迭代法本质上是广义EM算法。文中的直接迭代法是指通常在无监督学习中 采用迭代法来求解有限混合分布参数的最大似然估计。在所有国内外经典的教材[83][10][8][141][55] 中，直接迭代法被广泛涉及，但它的收敛性一直未得到讨论和验证，形成了一个空白，因此限 制了它的使用。而直接迭代法与EM算法关系更是几乎没有提及。本文比较了在无监督学习中 用最大似然法估计有限混合分布的未知参数情况下，通常采用迭代法求解最大似然估计与EM 算法公式的相同与差别之后，利用EM算法的性质来证明在这种情况下直接迭代法是一种广义 EM算法。此时直接迭代法具有EM算法的收敛特性和自动满足约束的特性，能够自动增大对 数似然，在一定条件下保证收敛到一个局部最优值。这对关于它的描述进行了有效的补充。 3、提出基于“渐近等同分割性”原理的熵先验为基础的最小熵方法。最小熵方法[131]是近 年来在研究“交叉熵”基础上提出来的新方法，但其中“熵先验”的说明比较复杂。本文提出 基于“渐近等同分割性[142]”(AEP-Asymptotic Equipartition Property)的原理说明“熵先验”， 使熵先验问题更加明确。本文结合最小熵理论，引出一个在隐变量概率模型中同时学习模型的 结构和参数的新型方法-基于熵的最大后验估计(MAP-Maximum A Posteriori)。熵MAP估 计将熵的和最小化，从各方面减小不确定性，删减多余的参数，得到参数趋于精确并较好地支 持数据结构的模型。本文还发展了新型的HMM，用于解决每时间步具有可变长度观察矢量的 问题；采用熵MAP估计进行训练，可以降低分布的冗余和除去噪声，留下的隐状态与图像序 列中实际物理过程高度相关。应用于交通视频的模式发现时，采用连续两帧间光流表作为数据， 通过新型的HMM结合基于熵的MAP估计学习景物活动的模式，得到简洁的、可解释的、可 预测的模型。 4、将EM收敛的过程进行图形解释。EM算法包含形成辅助函数的E步和使其最大化的 M步的过程，通常是数学形式表示，缺乏直观视觉形式。本文将EM收敛的过程进行图形解释， 生动地显示了EM算法的辅助函数保证迭代过程是一个对数似然函数单调增大的过程。图形还 表示了EM算法是获得最大似然法估计解的可行方法。 5、提出EM算法用于灰度图像——车辆牌照和医疗图像分析的实例。本文将EM算法用 于灰度图像的灰度和邻域均值两维特征空间的参数估计。文中成功地运用EM算法的相关理论 来完成车辆牌照、医疗图像的分割，并对算法做出改进(直方图扩展、增加分类数)，用于解 决实际中碰到的问题。我们的系统用基于特征的EM算法和GMM来求得图像总体分布的近似， 之后用统计模式识别的Bayes分类器进行最优分类，根据估计得到的图像总体的分布密度函数， 使用准则函数把图像中的各个像素分到目标和背景两个分量(类别)中。 6、提出EM算法用于彩色图像——医学图像分割的实例。本文提出三维彩色图像的EM 算法聚类分割方法用于医学图像的分割。在彩色图像各颜色分量(R，G，B)形成的三维直方 图上，用EM聚类方法估计三特征的分布参数。再根据估计的分布参数，计算各类的Bayes决 策面，将像素点划分到相应的类别，从而提出了一个实用的最小错误率意义上的彩色图像最优 分割方法。该方法充分利用了像素的所有颜色分量的分布和相互关系，不受颜色空间的限制， 可以满足各类彩色图像的分割要求。图像的总体符合正态混合分布的模型也是十分合理的。 7、强调最大似然估计在无监督学习中的有效作用。许多实践说明用最大似然估计 (MLE-Maximum Likelihood Estimation)是十分有效的方法。本文指出目前有些很好的模式识 别的专著[83][10][8][141][55][82][79]，但对EM算法和最大似然估计广泛的可行性和有效性强调太少， 而过多分析极少出现的不收敛点(实际上不影响计算)。例如专著[83][10][8][141][55]的无监督学习 的章节中，也没有对最大似然法直接迭代收敛性分析和EM算法的应用。书中[83][10]采用了几 个例子来说明最大似然法所不能解决的极个别的问题，而对于最大似然法在解决无监督学习问 题的优势方面，却没有进行详细的阐述。 8、提出EM算法是解决无监督学习问题的核心。在无监督学习中用迭代法求解最大似然 估计，之前一直无法保证收敛，但采用EM算法却已经证明可以保证收敛。将样本所属的类别 看作是丢失的特征，可以使无监督学习问题中的最大似然估计通过EM算法来解决。在所有国 内外经典的教材[83][10][8][141][55][79]中，具有保证收敛特性的EM算法在解决无监督学习情况下 混合分布参数估计的强大作用经常被忽视，没有强调其解决无监督学习下最大似然估计的功 用。因为不完备数据通常成为EM算法问题的中心，而使得EM算法在无监督学习中的作用常 常被淡化。实际上，在说明EM算法时，可以有两种角度：对于严格的数学来说，引入样本为 不完备数据，部分特征丢失，样本所属的类别被看作是丢失的特征，以及引入辅助函数来解释 求解过程等都是必要的。而对于工程应用来说EM只是求解最大似然法估计的技巧。过分强调 不完备数据或特征丢失，会模糊EM求解时数据的性质和采用EM的目的。本文重提EM算法 是解决无监督学习问题的核心，强调了它解决最大似然估计的作用以及保证收敛到局部最优值 的特点。 关键词 最大似然估计(MLE-Maximum Likelihood Estimation)，EM算法(期望最大-Expectation Maximization)，高斯混合分布模型(GMM-Gaussian Mixture Model)，隐马尔可夫模型(HMM-Hidden Markov Models)，最小熵(entropy minimization)，熵先验(entropic prior)，渐近等同分割性(AEP-Asymptotic Equipartition Property)，最大后验估计(MAP-Maximum A Posteriori)