手语是聋人使用的语言,是聋人进行日常交流的主要方式。手语通过手势、表情和头部姿态等多种方式协同表达信息,并且相对于一般人的肢体语言来说更加有规律性,语义也更为丰富,因此可以作为拟人化人机交互的研究平台。目前对手语识别的研究主要是针对手部信息进行处理、建模和识别,但手语是以手形、手臂运动并辅之以表情、唇动及其它体势来表达思想的人体语言,在手语的表达过程中,手势和表情起着关键作用,并且有实验表明,当只有手势而没有表情时,人所能理解的内容估计不超过60%,因此本文在手语识别过程中对多个通道的手语信息进行融合识别,以期提高手语识别的准确率。具体而言,本文的主要研究工作主要包括：1.利用隐马尔科夫模型(HMM)技术分别实现对手势特征和面部表情特征的训练和识别,得到单通道手语信息的识别匹配概率；2.实现Bayes估计理论算法,并应用到手语信息的融合中,利用系统的先验知识及各通道识别情况来给出先验概率,并将各通道识别匹配概率作为条件概率进行决策级融合,从而得到融合后的识别结果；3.实现D-S证据理论算法,并应用到手语信息的融合中,分别将面部表情识别匹配概率和手势识别匹配概率作为单独的数据通道,利用D-S证据理论对两个通道数据进行决策级融合,从而得到融合后的识别结果；4.设计多通道手语信息融合系统的软件架构,实现了一个通用性较强、可扩展的手语信息融合的原型系统。