随着科技的飞速发展,越来越多的人机交互方式出现在人们的日常生活中,以手势识别为研究的人机交互方式应运而生。手语作为一种特殊的手势,其研究在人机交互的实现上具有重要的意义。目前,手语识别技术有两大主流,一是基于可穿戴设备的手语识别,另一个是基于视觉的手语识别,而可穿戴设备携带不便,影响其在社会上的推广,随着Leap Motion、Kinect、Real Sense等视觉传感器的出现,基于视觉的手语识别成为研究的热点之一。本文借助于体感设备Real Sense D435i对连续手语视频数据进行采集,利用Real Sense SDK提供的深度信息以及对相应手部骨骼点位置的跟踪来进行手语识别研究。本文设计了一种基于手语关键动作结合HMM模型的方法,对连续手语进行识别,该方法提取手语视频中的关键动作,降低了直接处理手语视频的难度,同时也提高了识别的精度。首先利用改进的Cam Shift算法结合Real Sense相机对手语轨迹进行跟踪校正,避免了直接用Real Sense相机跟踪导致的手部位置偏差,同时也提高了Cam Shift算法跟踪稳定性。然后设计了基于手心轨迹曲线点密度的提取方法,将连续手语中的关键动作提取出来,再用深度阈值和肤色检测融合的算法将手部从图像中分割出来,该方法降低了光照、背景因素带来的影响。接着对分割出来的手部图像用Hu矩阵前四阶矩阵融合图像几何特征的方法进行特征提取,避免了高阶矩阵带来的影响。最后用关键动作手部特征结合HMM模型完成连续手语的分类识别。本文设计了一个连续手语识别系统,通过实验验证以及系统的测试,系统完成了由小批量词汇构成的16句连续中国手语识别,对于参加数据采集者的识别率达到了91.2%,未参加数据采集者识别率在82%左右。