手语是聋哑人与健听人的沟通方式,由于绝大多数的健听人不会手语,导致聋哑人与健听人交流困难。实现实时手语自动识别,可以帮助聋哑人在社会上同其他社会成员建立起正常的社会关系。本文采用Kinect for Windows摄像机作为输入设备,利用Kinect反馈的深度信息和骨骼节点信息实现动态手语实时识别。动态手语通常以形比意,其可以看作是由若干具有实际意义的静态手部动作组合构成。这些静态手部动作是动态手语的关键动作。对关键动作稳定、准确地提取也成为准确识别手语的保证。对此,本文提出了一种自适应的关键动作提取算法,算法对非特定人群所做的动态手语的关键动作提取有良好的准确性和稳定性。然后以Kinect反馈骨骼信息构造的特征结合手型区域信息提取的不变矩特征共同作为描绘关键动作的特征,利用随机森林对关键动作进行分类。在分类过程中,不同的关键动作出现的频次不同,有的甚至相差很大,造成各类别关键动作样本集的不均衡,严重影响随机森林分类结果。对此,采用本文提出的优化KM-SMOTE算法,对不平衡关键动作样本集做处理,扩充少数类样本集的样本数量,使得各类别样本数量均衡,优化分类效果。最后利用关键动作的特征信息训练HMM模型结合手语关键动作特征序列完成手语识别。根据上述方法,本文设计了能够识别20个词语的实时动态手语识别系统,系统由后台手语视频管理模块和前台手语识别模块组成,对于参与样本采集的手语者手语识别率可达90%,对于未参与样本采集的手语者手语识别率在85%左右。