论文部分内容阅读
交警手势信号作为疏导交通的重要信号,对保障拥堵路段的交通安全、顺畅具有重要的作用。对灵活多变的交警手势识别的研究,无论对辅助驾驶还是自动驾驶技术发展,都具有重要意义。现有的交警手势识别方法大致可分为基于传感器和基于视觉两类。基于传感器的交警手势识别方法往往要求交警手臂上佩戴能采集手势动作的传感器,将采集的动作信息用于识别手势。虽然这类方法能获得很高的准确率,但是这类方法会增加交警的身体负担,对交警指挥产生影响,不利于推广应用。传统的基于视觉的交警手势识别方法,需要Kinect设备采集深度图像、人工设计特征提取器,识别准确率不高,不能满足辅助驾驶或者自动驾驶的需求。本文研究利用深度学习相关方法识别交警手势,研究内容包括:交警手势视频数据集采集制作、交警手势动作特征提取和交警手势信号识别。主要研究成果如下:采集制作了一个交警手势信号数据集,共包含124×8个交警手势视频数据,选取了不同的场景和光照条件。建立了基于深度卷积神经网络的交警手势动作特征提取模型,用于提取交警手势视频数据的特征图序列。首先从交警手势视频数据中获取视频帧图像,然后在交警手势视频帧图像数据集中训练我们基于Inception-v3网络设计的交警手势动作特征提取模型,该模型取得了0.709的验证集准确率,说明模型学习到了有效的交警手势动作特征。最后,将该模型用于提取交警手势动作特征,获取交警手势视频数据的特征图序列。设计了两个交警手势信号识别模型:基于LSTM的交警手势识别模型TPGRLSTM(Traffic Police Gesture Recognition-LSTM)与融合LSTM和全连接网络的交警手势识别模型TPGR-Meged。其中TPGR-Merged模型,参考了GoogleNet、ResNet网络的设计思想,以期望融合LSTM网络学习的序列特征和全连接网络学习的动作特征,提高模型的拟合能力。这两个模型在交警手势视频特征图序列数据集中训练后,在8种交警手势信号中均取得了较高的识别准确率,其中TPGR-LSTM模型的平均识别准确率为95.6%,而融合LSTM和全连接网络的交警手势信号识别模型TPGR-Meged的平均识别准确率得到了进一步提升,达到97.0%。