肤色模型是生物特征识别的重要的手段，在人脸识别、数字医学等很多方面都有广泛的应用，本文在学习和分析了关于肤色模型的相关文献的基础上，提出了双肤色模型的方法。利用椭圆聚类肤色模型和SGM模型的交互完成对肤色的分割和识别。　　 双肤色模型方法分为样本训练和模型参数应用两个步骤。第一步利用样本确定两类肤色模型的初始参数，在对椭圆肤色模型参数确定过程中，采用了最大外接矩形的方法确定椭圆的位置，在满足需要的前提下提高了样本训练的效率。为了增加识别算法的鲁棒性，对图像使用指数-对数的综合亮度平衡方法。在对SGM模型确定参数时，对色度图采用了Fisher阈值确定的方法，能最大限度的分割出肤色区域并确定模型的均值和方差。　　 第二步在初始的肤色模型参数的基础上，把分割结果作为一部分样本，进一步对两类肤色模型的参数修正，达到更符合实时环境的要求，利用两类肤色模型的新参数对视频的单帧图像进行分割和识别。在利用两类肤色模型分割时，通过它们之间的交互过程，彼此修正识别结果，进一步达到提高识别率，降低误识率的目的。　　 另外，本文对双肤色模型进行了证明，从理论上证明了算法的可行性。最后把该算法应用到手势跟踪系统中，得到了很好的效果。