随着计算机应用技术在现代社会影响的迅速扩大,传统的基于鼠标和键盘的人机交互技术越来越显示出它们的局限性,因而研究多模式人机接口技术在现实生活中变得越来越重要。手语识别做为多模式人机接口领域的一项重要组成部分,已经吸引了越来越多的专家和学者们的注意。理想的手语识别应能处理大量的既定的词汇,最大可能地满足使用者的移动需要,在复杂环境下实时准确的识别,并且这种识别应该面向真正的、非特定的手语操做者。目前非特定人手语识别与特定人手语识别相比还有较大的差距,造成这一差距的主要原因包括非特定人数据本身的差异性矛盾与训练样本的缺乏。数据差异性使得非特定人手语识别中提取手语数据有效的共同特征非常困难。训练样本缺乏,使得在实际应用中模型的表达能力与样本缺乏之间的矛盾成为制约识别系统效果的瓶颈。这两个问题的解决将对中国手语识别及其它相关领域具有重要的意义。在本文中,针对数据差异性和训练样本缺乏问题,我们从以下几个方面解决:1、根据手语具有语言学和人体运动学特点,在保证原始数据完整性的前提下,建立了手语语言学和人体运动学相结合的标记体系。根据上述标记体系和目前没有手语数据检测方法的现况,提出了符合手语特点的数据检测方法,用于检测生成和转换的手语数据的有效性。2、提出了符合手语具有手语语言学和人体运动学特点的数据生成方法,在此方法中应用了遗传算法和鲍德温效应,保证所生成数据是呈现出高质量趋势增长的手语数据。3、针对非特定人手语数据的差异性问题,首先我们提出了使用正交黎曼流形的学习方法来寻找手语数据的差异性。其次,应用正交黎曼流形的切向量来改进统计识别模型,解决非特定人手语数据的差异性影响识别效果的问题。4、在提出的手语数据生成方法中,遗传算法的“选择”操作是依靠目前手语识别系统实现的,为了确保遗传算法的“选择”操作的正确性,提出了对目前手语识别系统鲁棒性的验证方法。