手语是由手形、手臂运动并辅之以表情、唇动以及其它体势来表达思想的人体语言,具有规范的语法、明确的语义和完备的词汇体系。手语所含信息量丰富,与口头语及书面语等具有同等的表达能力,常用于聋人之间的信息交流和交际,也可用于聋校进行教学活动。一般常人不懂手语,与聋人存在语言交流障碍。手语识别系统正是基于这一问题提出来的。本文要开发的系统是一个基于视觉的手语识别,它通过采集手语动作的图像或者视频信息,提取取手语的特征,利用模式识别技术识别出手语所表达的语意。本文的研究工作包括以下几个方面：1.分析手语的基本要素中国手语作为手语的一个重要分支分为两类：手指语和手势语。手指语是用指式轨迹描述一个汉语拼音字母,并按照汉语拼音规则构成的语言。手势语是以模拟事物的形状、动作为主要手段,并辅以姿态和表情来表达的。手势语是聋人日常生活中使用的语言的主要部分。目前在中国手语教科书中每个手势对应一个汉语词。在我国聋人交往主要使用手势语,适当地配合手指语。2.手势分割本文中采用对人手图像提取HOG特征,即局部图像梯度的方向信息的统计分离出手的部分,HOG以其较好的鲁棒性以及对于光亮的不敏感性能够显著提高检测效果。从而为后面的特征的提取以及识别打下基础。3.静态手势特征提取及识别,静态手势主要是面对手指语,在本文中我们主要处理的静态关键手势为语句起始手势和语句结束手势,采集静态手语的HOG特征值,同时训练SVM识别器识别单一的静态手语。4.动态手势跟踪在手语的进行过程中,手作为非刚性物体在手语实现过程中会无规律的发生形变,所以常规的跟踪算法在跟踪记录手的运动轨迹中将极容易丢失跟踪目标,而又难以重新找回,本文采用TLD跟踪算法跟踪手势动作。TLD以其在线学习和检测跟踪同步机制保证了对于发生形变的手的动作的跟踪的稳定性,能实时的跟踪绘制手的运动轨迹。5.手语分类判别对于静态手势部分,由分割用到的HOG边缘特征数据作为后面识别原数据。对于动态手势,我们将采用TLD跟踪算法跟踪绘制其运动轨迹,结合开始的静态手势和结尾的静态手势识别连续动态手语。本文将建立基于词根的隐马尔科夫模型(HMM)识别手语。