论文部分内容阅读
在现代工业中,机器人能承受巨大的工作量,拥有极高的重复能力和生产率,同时,机器人能提供搬运重物等操作所需的强力以及特定操作所需的精度。因此,机器人技术在工业中得到广泛应用。人机分离缺乏灵活性和安全性,已经不能满足生产生活需求,因此,人机交互技术的研究对于工业生产、生活都有着重要意义。手势被用作人机交互中一种有效的通信方式,有基于外部设备的手势识别方法和基于计算机视觉的手势识别方法两大类。基于外部设备的手势识别方法已经相对成熟,被广泛应用于虚拟现实、手语识别、机器人生产中。而基于计算机视觉的手势识别方法还有很大提升空间。因此,本研究以人与工业机器人间的交互为研究背景,提出基于改进Faster RCNN的手势识别方法,主要工作如下:(1)针对传统计算机视觉算法需要人为提取特征进行手势识别的问题,采用卷积神经网络(Convolutional Neural Network,CNN)自动提取特征,对十种手势进行检测与识别。比较不同卷积核的均值滤波与高斯滤波等对NUS手势数据集中手势图像的预处理效果,选择卷积核为3的高斯滤波进行图像预处理;搭建卷积神经网络模型,设置参数,训练卷积神经网络,并利用模型对十种手势进行检测与识别。十种手势识别平均准确率为97.5%,结果表明,基于卷积神经网络的手势识别方法可以自动提取特征,避免了人工提取特征导致的手势识别准确率低的问题。(2)针对卷积神经网络对手势识别的准确率低、鲁棒性不强的问题,采用Faster RCNN算法,对十种手势进行检测与识别。对NUS手势数据集中的手势图像进行高斯滤波预处理;分别使用VGG16、残差网络对手势图像进行特征提取;利用五折交叉验证提高模型对数据的泛化能力。十种手势识别平均准确率为99.89%,结果表明,基于Faster RCNN的手势识别方法的识别准确率有了明显提高,适合用于实际工业人机交互应用中,但是该算法对于小手势识别准确率有待提高。(3)针对Faster RCNN对图像中的小手势检测与识别准确率低的问题,采用特征融合Faster RCNN的手势识别方法,对图像中的小手势进行检测与识别。对手势图像进行高斯滤波预处理;根据卷积神经网络层次深浅不同,利用不同的采样策略:对于浅层特征图,采用池化操作;对于深层特征图,采用反卷积操作。同时,根据每张特征图对识别任务的重要性,自动为每张特征图分配权重。十种手势识别平均准确率提高到94.25%。本研究分别采用卷积神经网络和Faster RCNN算法实现了准确的手势识别,为工业中人机交互提供了可行方法,对于机器人生产、智能家居、手语识别等都有着重要意义。