近些年以来,由于工业社会的急速发展,导致听力障碍患者的数量显著增加。随着人工智能技术的日益发展,研究人员不断地为残障人士带来新的辅助技术。传统的模式识别技术,如隐马尔可夫模型、支持向量机和反向传播算法已经应用在手势识别上,并且获得了一定的成果,但识别效果并不是很好。随着卷积神经网络（convolutional neural network,CNN）的迅速发展,基于CNN的方法在手势识别领域取得了更为显著的效果。然而,基于CNN的方法需要大量的训练数据,模型训练对于硬件要求较高。论文针对在数据集较小,和硬件条件一般的情况下,手势识别效果不理想的问题展开研究。论文的主要工作与创新如下:1.构建了一个较小规模的手势数据库。使用美国手势数据集,该数据集提供了5个人采集的24个手势表达形式的英文字母图像（J和Z除外）。论文使用了其中12000张不同大小的图片,每个字母图像有500张RGB图片。论文使用传统的图片数据集扩充方法（加噪,旋转等）进行数据增强。在此基础上使用DCGAN网络进行图片生成,最终得到了168000张标准的实验数据。2.提出了2种用于手势识别的轻量级CNN网络:Mobile Net和Shuffle Net,解决了传统CNN模型体积较大、不便于移动端设备的嵌入使用问题。实验结果表明,在相同实验数据集的情况下,Mobile Net-v2和Shuffle Net-v2的识别准确率分别达到了90.93%、91.13%,参数量为6.9M和3.4M。实验中传统CNN方法中效果最优的Res Net50识别准确率为93.65%,但是模型参数量达到了25.6M。实验结果验证了轻量级CNN网络比传统的CNN网络在移动端使用时的优越性。3.提出了使用迁移学习进行手势识别的方法。论文使用了VGG16和Res Net50作为实验模型。在冻结其他层,只训练全连接层的情况下,需要训练的参数都为2.297M,而使用传统方法训练时需要训练的参数分别为138.4M和25.6M。同时在标准数据集和小数据集上分别进行实验,使用迁移学习方法时训练5个轮次模型基本拟合。实验数据为标准数据集时VGG16和Res Net50的识别准确率分别达到了92.6%和95.31%。实验数据为小数据集时识别准确率分别达到了86.17%和89.21%。实验结果表明在小数据集的情况下使用迁移学习,不仅可以提高识别率,同时模型也更容易拟合。4.提出了2种引入Transformer的手势识别方法:Visual Transformer（Vi T）和Convolutional Vision Transformer（Cv T）。使用Vi T模型训练进行手势识别的准确率仅为69.6%,使用Vi T的预训练模型进行迁移学习时识别准确率为90.6%。使用Cv T模型进行训练的识别准确率为72.6%。从实验结果来看,虽然将Transformer引入到手势识别未达到更优的效果,但是本文提出的方法为手势识别技术指出了一种新的发展思路。