手势识别是人机交互、智能语义识别和远程人机通信等领域的研究热点和难点,在多数复杂情况下难以达到较高的识别率。本文研究静态和动态手势识别问题,基于卷积神经网络本身具有较强的学习能力和对个体特征的表达能力,针对静态手势识别提出扁平卷积神经网络（Flattened Convolution network）和复合密集连接下的卷积神经网络,针对动态手势识别提出融合Inception-LSTM级联卷积神经网络的方法。1、对于简单背景下的手势识别问题,本文利用Kinect深度相机采集不同手势姿态的实验数据样本,在Tensor Flow框架下提出扁平卷积神经网络静态手势识别算法—FD-CNN网络。首先对数据集进行预处理,然后将数据输入FD-CNN网络进行训练,通过与可变形卷积神经网络等方法对比发现,本文方法的识别率较高。2、FD-CNN网络对特征显著、简单背景的图片具有较好的识别效果,但对于复杂背景下的静态手势识别效果较差。因此,本文针对复杂背景手势提出一种基于复合密集连接下的卷积神经网络并利用SGD（Stochastic gradient descent）和Adam（Adaptive Moment Estimation）两种网络优化策略分别对网络进行优化。分别在Thomas Moeslund和Kinect Leap两个静态手势数据库上进行实验,结果表明改进后的网络在RGB图像和深度图像中均取得较高的识别率。3、对于动态手势识别问题,本文构建Inception-CNN网络和LSTM网络融合的结构,首先对输入的视频序列进行编码,然后通过塔式并行Inception-CNN网络实现特征量的提取,将提取出的信息融合成动态时空序列后使用单层LSTM网络进行分类识别。在Cambridge-Gesture、VIVA和Sheffield Kinect Gesture Dataset（SKIG）三个不同动态手势数据集上进行验证,结果表明融合Inception-LSTM级联网络识别率高,对比支持向量机（SVM）、方向梯度直方图（HOG）和卷积神经网络等方法,本文方法取得较好的识别效果,证明了该方法的有效性和鲁棒性。