在手语识别和异常行为检测领域中,手脸交互行为识别是其中一个重要的、极具挑战的研究方向。手语教材中有大量的手脸近距离交互词汇和语句,同样对于吸烟等异常行为的识别也需要采用手势作为判据,来弥补在遇到复杂环境等因素影响时难以进行识别的缺陷。而对于手脸交互行为识别研究所面临的挑战主要来自于手脸肤色、纹理的相似性、手脸距离较为贴近,以及手脸交互行为实验样本数据集在数量和质量上的局限性。因此,对基于视觉的手脸交互行为的手势识别的研究具有非常重要的价值和意义。本文在利用硬件设备采集场景中的RGBD数据,来建立手脸交互行为的数据集,并提出一种融合深度信息,基于模糊C均值聚类协同偏移场矫正的多项水平集的手势分割方法。首先采用核模糊C均值聚类,对手脸遮挡图像进行粗分割和灰度增强,以实现手脸分离。其后,引入初始化水平集函数,利用偏移场矫正的多相水平集理论来解决聚类方法常导致的手势区域像素缺失问题。为提高特征向量对目标特征描述的准确性和可靠性,对传统的方向梯度直方图(Histogram of Oriented Gradient,HOG)特征进行改进,提出一种基于深度信息的方向梯度直方图特征。由于深度信息具有对物体空间信息描述完备准确,且方向梯度直方图具有对图像局部区域的方向梯度描述准确的特点。所以,深度方向梯度直方图特征能够有效的对手势形状以及内部纹理信息进行描述,并且受环境影响较小,具有较强的可靠性和适应性。由于手脸交互行为识别问题处于研究的初级阶段,先验知识较少。本文主要利用泛化能力强、稳定性好、速率高的支持向量机理论作为手脸交互行为的分类器。通过自建数据库,与不同的手势分割方法和特征提取方法进行对比,试验结果证明了本文提出的手势分割算法和改进的特征提取方法在近距离手脸遮挡手势识别中的有效性和优越性。