作为新一波科技浪潮的排头兵,人工智能正以前所未有的速度渗透到人类生活的方方面面。其中,人机交互技术作为人工智能领域的重要组成部分,受到广泛的关注。在众多的人机交互手段中,手势交互是最接近人类交流习惯也是最自然的一种交互方式,相关手势识别技术可以被用于聋哑人教学、智能家居和虚拟现实等应用场合,具有广泛的应用前景。在上述背景下,本文对基于视觉的静态及动态手势识别问题进行了重点研究,取得了一些富有实际意义的研究成果。本文的主要工作与创新点如下:1.深入研究了静态手势识别问题。针对传统的手势检测方法不能对前臂、手掌和手指区域进行很好的区分,导致手势识别效果低下的问题,提出了一种有效的、基于直线检测的冗余手臂去除方法。实验结果验证了方法的有效性。2.现有的静态手势识别算法大都首先利用形状分解方法提取手指特征,然后利用模板匹配技术实现对手势的分类。因此,手指检测算法性能的好坏会对整个系统的识别性能产生直接影响。为此,本文从以下三个方面对手指检测与识别算法进行了改进:(1)提出了一种新的融合形态学处理和曲率信息的手指区域分割算法:(2)提出了一种基于多参数的改进相似性度量方法;(3)提出了一种基于分层模板匹配的手势识别方法。实验结果表明,本文所提出的手势检测与识别方法能有效克服杂乱背景、类肤色区域等不利因素的影响,取得较为理想的检测与识别效果。3.提出了一种基于多卷积神经网络融合的动态手势识别方法。该方法从给定的深度图像序列出发,首先提取运动信息,然后将其送入到不同结构的卷积神经网络以预测相关的三维时序信息,据此可以从空间和时间的维度去捕捉连续运动特征,进而实现对动态手势的分类。定性和定量的实验结果验证了本文所提出的动态手势识别算法的性能。