论文部分内容阅读
手势识别具有非常广泛的应用，是计算机视觉领域的研究课题之一。很多传统的手势识别方法主要依赖于数据手套等辅助设备，或者是基于传统意义上的彩色(RGB)图像上的手势识别，不能获得更多超过2D图像以外的信息。而Kinect设备的问世为我们采集深度图像提供了便利性。本文的主要研究目的在于基于Kinect平台上设计并实现一个手势图像分类器，能识别出基本的几种手势。在本文中分类器我们采用两种方法：一种基于随机森林(Random-Forest)算法，人工设计特征，采用了传统图像特征领域的几种特征，如HOG，LBP等结合的方式；另外一种则是基于深度学习(Deep Learning)算法，采用自主学习特征的方式，并在顶端引入分类器进行识别。具体而言，本文的研究工作主要在以下几个方面：1：对通过Kinect采集得到的视频流进行处理，得到手部彩色(RGB)图像以及深度(Depth)图像作为实验数据集；2：对于初步得到的数据集进行预处理，通过骨骼点等信息去除掉背景噪声，优化手部图像使之更易于处理；3：根据研究需要人工进行了相应的特征设计，HOG，LBP等特征参数的选取，并根据这些特征设计随机森林进行手势图像识别，取得了不错的效果；4：基于深度学习算法设计自主特征学习模型，并在整个网络顶端引入分类器进行手势图像识别；5：对两种分类器得到的实验结果做比较与分析。我们利用手势连续动作视频流提取到了大量正面手势图像，使用深度学习方法在测试数据集识别率达到了81.0%，在训练数据集合上得到了89.17%的识别结果；使用随机森林方法在测试数据集合上取得了76.01%的结果，在训练数据集合上得到了89.01%的结果。在训练数据集合上两种方法得到的结果不相上下，这两种算法都具有很强的分类能力，算法是有效的；在测试集合上得到的结果使用深度学习算法进行分类要比使用随机森林方法进行分类效果要优一些；证明了新兴的深度学习算法在特征自主学习方面是很有效果的。