基于深度学习的手势识别及其在虚拟实验中的应用研究

来源 :北京理工大学 | 被引量 : 0次 | 上传用户:dsq90
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在手势识别等领域中,由于多模态数据所蕴含的信息具有互补性,使用多模态手势数据协同进行手势识别可以有效提高识别准确率。首先,本文提出了一种叫做模态卷积的针对多模态视频数据进行特征提取的方法,该方法对多模态图像数据的模态内信息与模态间信息均进行了特征提取,并从像素级别将多模态信息数据进行了数据融合,使得提取出的特征更能准确表征手势视频数据。基于这种模态卷积的方法,我们描述了一种卷积神经网络称作模态卷积网络,可以同时提取空间特征、时序特征与模态间特征,并将这些特征用于后续的手势分类。之后,我们基于模态卷积网络构建了完整的手势识别模型并完成了动态手势识别工作。完整的手势识别模型包括数据预处理,特征提取,数据融合以及手势分类4个部分。其中,数据预处理部分分别对手势视频数据与骨骼数据进行数据增广、裁剪等处理,特征提取部分针对RGB图像与深度图采用模态卷积网络进行特征提取,针对手势骨骼数据则使用深度信念网络进行特征表示,数据融合部分将两种网络得到的特征采取按照权重融合的方式实现决策级别的数据融合,手势分类部分使用隐马尔可夫模型完成动态手势的识别。最后,我们使用leap motion作为手势数据的采集器,基于手势识别技术实现了计算机拆卸虚拟实验,该虚拟实验应用可以有效识别用户做出的抓取手势动作,从而提供自然的人机交互方式完成计算机拆卸的教学演示工作。我们在Cha Learn LAP 2014手势数据集上做了对比实验,并使用Jaccard系数分别计算并记录了训练模态卷积网络时的验证准确率与手势识别架构最终得到的识别准确率,并与现有不提取模态间特征的类似方法进行了对比。结果显示模态卷积网络比基准方法的验证准确率高了3%,同时最终的手势识别准确率提升了2.3%。实验结果表明,本文使用的模态卷积可以有效提取模态内与模态间信息,有助于多模态识别问题准确率的提升。
其他文献
信息过载已成为当今社会面临的一个严峻问题。推荐系统的出现,在一定程度上缓解了这个问题。时序信息是推荐系统中的一种重要信息。然而,现有的推荐系统算法,或是不考虑时序
随着大数据分析、物联网、移动互联等网络信息技术的快速发展,游客们对于旅游行业的信息化水平要求也越来越高。如何借助信息技术构建信息化公共服务体系,整合各类资源,提高旅游行业的服务水平和品质,对推动和促进旅游目的地信息化服务品质建设和旅游业的可持续发展起到十分重要的作用。本文结合旅游需求理论,公共产品理论、新公共管理等理论,结合旅游信息化相关实践进行分析,分析了信息化公共服务体系的指标基础因子,构建了
视频稳像技术是图像和视频处理领域的热点问题之一。传统的视频稳像方法大多采用后处理的方式,存在较长的延时。然而许多应用场景,如无人机的实时回传视频、手持摄像设备在线
在中国医疗健康服务不断转型的今天,“以患者为中心”的服务理念显得尤为重要。医改政策也在强调改革与改善服务同步,要求各医疗机构积极实施改善医疗服务行动,通过改善诊疗
在文本推荐中,文本中的关键词在文本集上出现次数较少,导致文本信息的缺失进而影响推荐效果。将这些词语看做知识图谱中的实体,则能够通过知识图谱中对实体的描述解决这类信
好莱坞犹太人是一个特殊的群体,他们创立了好莱坞制片厂体系和明星制度,几乎掌控着美国电影制作的话语权。然而,事业的成功和社会地位的提高并没有使他们免受反犹主义袭扰,自20世纪30年代纳粹上台后,他们所面临的来自欧美的反犹主义攻击更加猛烈。在种种因素作用下,好莱坞犹太人充分利用职业特性,采取一系列措施对反犹主义发起抗争。本文在结合国内外相关研究的基础上,通过对相关数据、新闻报道、电影素材等资料进行梳理
肺癌是全球最常见和死亡率最高的癌症类型。在肺癌筛查诊断过程中,计算机辅助检测系统(Computer-Aided Detection,CAD)能辅助医生进行肺部疾病的诊断和治疗,有效提高了诊断准
堕胎问题在美国一直是一个极富争议的话题,1973年“罗伊诉韦德案”做出的堕胎合法化的判决,更是使得整个美国社会在堕胎问题的立场上产生了严重分裂。美国天主教主教团作为美国天主教的领导机构,一直秉持着支持生命权的反堕胎理念,同时也在反堕胎运动中发挥了巨大的作用。但是,美国天主教主教团的努力,也只能减缓美国堕胎合法化的进程,“罗伊诉韦德案”的决定始终没有被反堕胎力量推翻。本文利对1973-1992年这一
纵观高铁施工建设到运营管理的全生命周期,路基工程的风险评价和沉降变形观测及评估是保障其高平顺性和高稳定性的先决条件和核心内容。随着我国高铁网的优化和高铁精密工程测量技术的更新,对高铁路基沉降变形的管控愈加严格。本文先从标准化层面上梳理高铁沉降变形测量体系和沉降评估工作及预警机制的要点。依托中国铁路上海局集团有限公司“路基沉降评估技术服务”课题,根据在建和在运营的高铁路基施工特点,总结路基全生命周期
软土土层在我国分布非常广泛,在软土地基上进行工程项目的修建往往需要对软土地基进行加固处理,当采用复合处理方案时,不同处理方式之间由于刚度差异,会导致差异沉降现象,所以有必要对其进行处治以确保工程安全。目前国内外对于差异沉降的研究集中于路桥过渡段与路基拓宽工程,本文首先对这两个方面的相关研究进行总结,并借鉴其治理方法与差异沉降控制标准运用于本文的研究中。随后结合云南磨憨车站大型铁路站场软土地基过渡段