现实世界的许多计算机视觉应用都依赖于计算机从图片中提取感兴趣的信息。在计算机视觉问题中，图像中感兴趣的信息通常用参数模型来描述，接着使用模型拟合算法从观察数据中估计出模型的参数。模型拟合算法在大量的计算机视觉中起着及其重要的作用。计算机视觉中，参数估计在早已被深入地研究。但是由于视觉数据中不可避免的存在离群点和多个结构时，传统的模型拟合算法往往不能很好的应对这些问题。因此如何高效地从被污染的视觉数据中恢复多个结构的参数仍然是一个未来亟待解决的问题。　　本文在广泛调研和总结相关领域文献的基础上，并且对目前鲁棒多模型拟合领域一些重要的问题做了简单的分析和讨论。接着通过对最近提出的几种有代表性的鲁棒模型拟合算法的介绍对鲁棒多模型拟合领域的目前发展做了一个简单的回顾。接着我们把传统表示假设一致性的集合从离散空间扩展到连续空间，提出了一种新的连续一致性集来更精确的描述假设的一致性信息。根据并集合提出的连续一致性集提出一种新的鲁棒多模型拟合框架。对现存的鲁棒多模型拟合算法在处理数据中存在的不平衡结构时存在的问题，我们提出了一种基于结构决策图的鲁棒多模型拟合算法。为了处理在没有关于结构的数目的先验知识时，很难判断两个非常接近的结构是否来自同一结构一个结构这一问题，我们将关系网络的概念加入模型拟合，提出了一种新的基于关系网络的鲁棒模型拟合算法。最后针对鲁棒多模型拟合算法中的未来发展提出一些改进方向。　　通过合成数据以及来自真实数据的运动分割、单应性检测和3-D点云平面重建的实验对比，表明我们提出的基于结构决策图和基于关系网络的鲁棒多模型拟合算法在估计模型参数上比其它的鲁棒多模型拟合算法更加鲁棒，较其他算法分别高出28.75％和19.80％的平均计算精度。