论文部分内容阅读
基于单目摄像头的手势识别是人机交互领域的热门研究方向之一。然而,单目摄像头下的手部检测和识别仍然受到复杂背景、运动模糊、光线变化等问题的影响。虽然近几年基于深度学习的目标检测算法显著提高了手部检测的准确率,但仍然存在很高的计算开销,不适用于嵌入式平台。因此,本文基于轻量级的CNN模型,研究实现快速准确的手势识别算法,并将其应用于嵌入式平台。首先,本文结合SSD框架和改进的MobileNet模型实现了静态图片的手部检测和方向估计。为提高模型的检测精度,本文修改了MobileNet模型的网络结构,并通过自顶向下的特征融合结构引入上下文信息。为了精确估计手部方向,本文建立长轴和短轴向量的概念,并通过估计向量在水平和垂直方向的投影,实现手部方向对齐边框的检测。接着,本文针对视频序列提出快速的手部检测和手形识别算法。该检测模型根据上一帧检测结果确定当前帧的搜索区域,然后进行手部检测和手形识别,以此迭代地完成视频序列的检测。同时,本文针对模型训练给出了样本生成和数据扩增的方案。最后,本文将上述算法在嵌入式平台Jetson TK1上进行实现和优化,先后采用多种方案缩减模型的计算开销和内存读写,有效减少了模型在嵌入式平台的时间开销。本文在Oxford手势数据集上评估了静态图片的检测模型,其手部检测准确率为83.2%AP,在NVIDIA Titan X上的单帧处理时间为7.2ms,在速度上是现有最准确的方法的29.9倍,并在精度上提高8.1个百分点。视频序列的检测模型在EgoFinger数据集上进行了评估,手部检测的平均重叠率达到84.1%,在NVIDIA Titan X上实现2.5ms的单帧处理时间。经过在嵌入式平台Jetson TK1上的算法优化,静态图片和视频序列的检测模型分别达到61.659ms和23.183ms的单帧处理时间,基本满足实时的计算需要。