基于改进Faster RCNN算法的手势识别研究

来源 :河北大学 | 被引量 : 7次 | 上传用户:hui1202
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现代工业中,机器人能承受巨大的工作量,拥有极高的重复能力和生产率,同时,机器人能提供搬运重物等操作所需的强力以及特定操作所需的精度。因此,机器人技术在工业中得到广泛应用。人机分离缺乏灵活性和安全性,已经不能满足生产生活需求,因此,人机交互技术的研究对于工业生产、生活都有着重要意义。手势被用作人机交互中一种有效的通信方式,有基于外部设备的手势识别方法和基于计算机视觉的手势识别方法两大类。基于外部设备的手势识别方法已经相对成熟,被广泛应用于虚拟现实、手语识别、机器人生产中。而基于计算机视觉的手势识别方法还有很大提升空间。因此,本研究以人与工业机器人间的交互为研究背景,提出基于改进Faster RCNN的手势识别方法,主要工作如下:(1)针对传统计算机视觉算法需要人为提取特征进行手势识别的问题,采用卷积神经网络(Convolutional Neural Network,CNN)自动提取特征,对十种手势进行检测与识别。比较不同卷积核的均值滤波与高斯滤波等对NUS手势数据集中手势图像的预处理效果,选择卷积核为3的高斯滤波进行图像预处理;搭建卷积神经网络模型,设置参数,训练卷积神经网络,并利用模型对十种手势进行检测与识别。十种手势识别平均准确率为97.5%,结果表明,基于卷积神经网络的手势识别方法可以自动提取特征,避免了人工提取特征导致的手势识别准确率低的问题。(2)针对卷积神经网络对手势识别的准确率低、鲁棒性不强的问题,采用Faster RCNN算法,对十种手势进行检测与识别。对NUS手势数据集中的手势图像进行高斯滤波预处理;分别使用VGG16、残差网络对手势图像进行特征提取;利用五折交叉验证提高模型对数据的泛化能力。十种手势识别平均准确率为99.89%,结果表明,基于Faster RCNN的手势识别方法的识别准确率有了明显提高,适合用于实际工业人机交互应用中,但是该算法对于小手势识别准确率有待提高。(3)针对Faster RCNN对图像中的小手势检测与识别准确率低的问题,采用特征融合Faster RCNN的手势识别方法,对图像中的小手势进行检测与识别。对手势图像进行高斯滤波预处理;根据卷积神经网络层次深浅不同,利用不同的采样策略:对于浅层特征图,采用池化操作;对于深层特征图,采用反卷积操作。同时,根据每张特征图对识别任务的重要性,自动为每张特征图分配权重。十种手势识别平均准确率提高到94.25%。本研究分别采用卷积神经网络和Faster RCNN算法实现了准确的手势识别,为工业中人机交互提供了可行方法,对于机器人生产、智能家居、手语识别等都有着重要意义。
其他文献
生态环境作为人类赖以生存的重要场所,对推动人类可持续发展具有重要意义,环境保护早已成为当前发展阶段必须高度重视的课题。初中生物作为一门社会性学科与学生生活环境息息
本文简述了由于水源不符合要求造成给水处理系统污染后采取的恢复处理方案及所达到的效果,对于同行有一定的参考价值。
本文介绍了国内自行 SCAF-MI型自清式空气滤清器,叙述了该产品的模拟实验装置,试验结果及性能特点,使用实践表明,其各项技术指标或超过国际上同类产品水平。
本文剖析了燃气轮机进口导叶控制故障跳闸与转速信号瞬间丢失的关系,揭示了转速信号瞬间丢失的内在原因。
随着社会的不断发展,当前我国档案资料数量巨大,传统的档案管理方法已经不能够满足当前的档案管理工作。于是数字化档案管理理念被提出,且受到多方认可,受到计算机技术的加持
期刊
研制了一套化学机械抛光机(CMP)专用的真空供给系统,主要由水环式真空泵、真空泵箱体、真空储气罐和水箱(汽水分离器)组成及控制模块组成。设计了水箱供水控制模块、水箱温度自动
概述了化学机械抛光技术的发展现状,讨论分析了主要工艺参数对抛光机理的影响。重点论述了化学机械抛光工艺中不同压力控制方法及其技术特点,提出了一种新的压力控制方案,并
提出了一种有效解析DXF文件的新方法,新颖之处在于包含了从特定领域建模过程获取的模型中自动生成代码思想。它基于开源的Boost Spirit解析器框架,举例阐释了本技术。结果表明,与通常的纯手工编码方法相比,其代码倾向于更加简洁、高效和优雅。本技术可广泛应用于其它CAD/CAM数据文件格式的解析处理。
在新时代发展背景下,我国科技文化水平飞速提升,信息技术迅猛发展,作出这些优异成绩的背后都离不开国家对创新性人才的大力培养。为响应国家号召,跟上国家新时代特色发展的步