随着计算机视觉技术和智能终端设备的快速发展,基于视觉的手势交互因为其自然、友好、方便等优点成为了一种被广泛使用的人机交互方式,其中的关键技术主要包括基于视觉的手势识别、估计与认证,它们之间彼此联系紧密,长期以来都是学术界与工业界的研究热点。手势交互时,图像或视频中手部区域占比较小且手部关节灵活度非常高,基于视觉的手势识别、估计与认证在手势图像或视频处理与分析中面临图像分辨率低、视角多样性、指间相似与遮挡、人手快速运动造成运动模糊等问题,这些都给基于视觉的手势交互带来了极大的挑战。为此,在手势识别与估计方面,本文围绕如何设计兼顾准确性与实时性的手势识别与估计算法展开深入的研究。而在手势认证方面,本文同时在数据集与算法层面进行了广泛的研究,以期推动该领域的进一步发展。总体而言,本文的主要成果和贡献包括以下四个方面:（1）提出了一种基于人手几何特征和Fisher向量的静态手势识别方法。该方法构建了一种新颖的2D手形特征表示以同时满足识别精度与效率的要求。其核心思想在于为手的每个轮廓点提取一个具有旋转与尺度不变性的局部描述符,并使用Fisher向量编码方法对所有的局部描述符进行编码,从而得到2D手形的Fisher向量表示,最后采用SVM分类器对得到的Fisher向量进行分类。在五个公开数据集上的实验结果表明,与之前的传统方法和主流的深度学习方法相比,该方法在识别精度与效率之间能取得更好的平衡。（2）提出了一种基于特征协方差矩阵的动态手势识别方法。该方法为基于不同输入模态数据（包括RGB手势视频、深度手势视频和人手骨架运动序列）的动态手势识别提供了一个统一的框架。其核心思想在于对手部的兴趣点进行跟踪并提取表征位置和运动等信息的局部描述符,然后使用特征协方差矩阵将整个动态手势中的所有局部描述符进行融合构成一个低维紧凑的特征协方差矩阵描述符,最后采用SVM分类器对得到的特征协方差矩阵描述符进行分类。在三个不同模态的动态手势数据集上的实验结果表明了该方法在同时考虑精度与效率的基础上相较之前的传统方法和主流的深度学习方法更有优势。（3）提出了一种基于关节图推理和像素-偏移量预测网络的3D手势估计方法。该方法使用一种稠密预测的方式从人手深度图像中估计关节点的uvz坐标,并直接使用关节点的uvz坐标进行端到端的训练,有效地结合了基于直接回归和基于稠密预测方法的优点。该方法主要创新点在于所提出的两个核心模块:关节图推理（JGR）模块和像素-偏移量（P2O）预测模块,其中JGR模块用于增强像素的特征表达能力,P2O预测模块用于预测像素到关节点的偏移向量。在三个公开数据集上的测试结果表明了该方法在模型大小、估计精度以及推理速度等多方面具有明显的优势。（4）构建了一个目前为止最大规模的面向动态手势认证的动态手势数据库并提出了一种基于改进双流卷积网络的动态手势认证方法。为了促进基于视觉的动态手势认证研究的发展,本文构建了一个大规模数据集,其包含193个用户的多达29,160个动态手势视频,并在该数据集上进行了全面的基准实验与分析。另外,本文在对现有的面向动态手势认证的双流卷积网络进行深入分析后,提出了一系列的改进方案,并在此基础上重新设计了一种改进的双流卷积网络模型,其在自建的数据集上取得了显著的性能提升。综上所述,本文对三类关键的基于视觉的手势交互技术:手势识别、估计与认证展开了深入研究,提出了基于Fisher向量的静态手势表示、基于特征协方差矩阵的动态手势表示、面向3D手势估计的关节图推理和像素-偏移量预测网络和面向动态手势认证的改进双流卷积网络。在多种类型的手势数据集上的实验结果证明了本文所提出的各种方法的有效性。