基于解耦学习的动态手势识别研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:accessw2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术的不断发展,人类即将进入元宇宙时代。扩展现实技术作为元宇宙的核心技术之一,其将为用户提供更好的沉浸式交互体验。手势作为人类最为直观的交互方式之一,其在虚拟现实、增强现实等交互式领域中拥有举足轻重的地位。与此同时,手势已经在手语翻译、机器人控制、体感游戏等各类场景中得到了广泛的应用。因而,手势识别不仅具有深远的理论研究意义,还具有重要的现实研究价值。随着低成本深度传感器的出现,更高效的三维手势骨架数据变得容易获取,这使得基于骨架的动态手势识别逐渐成为当前的研究热点。但是,现有的动态手势识别方法依然面临着一些问题与挑战:(1)当前的模型往往采用单流的网络架构来学习所有的时空特征,这可能会产生次优的性能。(2)手势在不同坐标轴、不同时段的运动强度是不同的,这使得增强关键运动特征变得更加困难。(3)现有的骨架表征方式较为单一,其无法有效地反映时间运动特征与空间结构特征。(4)目前的网络仅依靠高层语义特征来实现手势识别,多尺度特征未能有效地用于提高识别性能。(5)常见的数据集所包含的样本有限,并且这些骨架数据没有被充分利用来学习更具代表性和鲁棒性的特征。为了能够解决上述问题,本文提出了两种有效的框架用来实现基于骨架的动态手势识别。因此,本文的主要工作总结如下:1、本文提出了一个双流的解耦表征学习框架。在时间感知流中,本文采用运动感知模块来增强手势在不同坐标轴上重要的运动特征。与此同时,本文还设计了特征聚合模块来实现多尺度特征的融合。在空间感知流中,本文提出了一种紧致关节编码方式来自适应地选择更具有代表性的关节点。另外,本文还引入了一种全局增强模块来强化关键的全局特征图。2、本文提出了一种有效的解耦提升学习框架。一方面,时间互提升流可以同时捕获帧间运动特征和帧内运动特征,并借助混合注意力模块来提升关键时空特征。另一方面,空间自提升流可以利用有限的数据,通过重构原始骨架图像来促进空间潜在特征的学习,这使得学到的特征具有更好的鲁棒性与代表性。此外,它还借助多尺度融合模块有效地实现了多尺度空间特征的渐进融合。3、本文在三个公开的基于骨架的动态手势识别数据集上进行了相关对比实验。相关的实验结果表明,本文的方法与最先进的方法相比具有较大的竞争力。另外,本文还开发了一款虚拟签名系统,以此来进一步说明手势识别在实际应用中的有效性。
其他文献
神经网络相关的研究是计算机研究领域的热点问题,分析这一领域的发展脉络,我们不难发现神经网络模型的计算量在不断地攀升。随着移动计算设备的发展,神经网络的推理正在越来越多的发生在边缘计算的场景中,但是网络层数越来越深的模型依然对嵌入式计算设备的功耗和任务地实时性提出了严峻的挑战。在这种背景下,神经网络加速器相关的研究在快速地推进,基于FPGA的加速器相比于传统的GPU具有更好的能效比。得益于FPGA的
学位
背景:胃癌的发病率和死亡率在我国恶性肿瘤排名中均位于前列,胃癌最有效且越来越普及的治疗方式是腹腔镜胃癌根治术。加速康复外科(Enhanced Recovery After Surgery,ERAS)作为现代外科的一个重要发展方向,强调对择期手术患者术前的预防性抗凝,以及术后继续不间断预防血栓的形成。另外,ERAS的核心内容之一是最大化的减少应激,减少应激有利于间接性地预防术后血栓的形成。腹腔镜胃癌
学位
随着互联网和多媒体技术的飞速发展,视频数据出现了爆炸式增长,在海量的多媒体数据中占据了重要地位。给定一段视频,大多数人都可以轻松地从中获取很多信息并对其内容进行不同程度的解释和描述。然而,对于机器而言,从视频中提取信息并生成语句描述是非常具有挑战性的。近年来,随着深度学习热潮的掀起,视频描述这一任务在语言和视觉研究领域吸引了越来越多专家和学者的关注。尽管视频描述方法的研究已经取得了显著的进展,但是
学位
20世纪90年代以来,中国进入快速城市化发展阶段,城区规模日益扩大,大量集体土地征为国有、开发成建设用地进入市场,土地价值逐步体现,并在一级市场、二级市场中日益增值。土地征收进入市场涉及集体、农民、政府和开发商等利益主体,土地增值收益应合理分配。目前,各级地方政府在土地征收、出让过程中获得了较高收益,土地受让者在房地产开发过程中也获得了较高收益,而被征收方-农村集体和农民补偿收益较低,权益不能得到
学位
我国是目前世界上果园种植面积和果品产量最多的国家,果品生产在我的农业生产中占据着重要的地位,但在果园管理过程中水肥施用量大,使用效率低的问题相当严重。我国是水资源相对欠缺的国家,实现节水节肥,提高水肥利用效率成为目前果品产业亟需解决的难题之一。水肥一体化灌溉技术是解决上述问题的手段之一,但是,此技术也存在肥料溶解不彻底,极易堵塞喷头降低使用效果。本文采用计算机数值模拟仿真技术,研发一套果园水肥一体
学位
临床路径(Clinicalpathway)是关于临床治疗的一种综合型范式,在循证医学证据和指南的基础上构建对于具体疾病的标准化治疗模式与治疗程序,旨在把控医疗成本,规范医疗行为,提升医疗质量,从而促进治疗组织和疾病管理。许多国家提出了各自的临床路径国家标准,用于指导医生的诊疗过程管理。然而,国家标准临床路径中的项目通常过于笼统,各地医疗机构由于医疗资源的区域化特点,使得国家标准医疗路径无法在本地医
学位
饲草作物的调质处理可以加速其水分蒸发,改变其力学特性和物理状态,减少饲草营养物质的损失,有利于饲草作物的贮藏利用。随着我国“粮改饲”政策的出台及推广,饲草作物种植面积不断增加,饲草加工机械需求量也越来越大。本文在系统分析和总结国内外相关研究的基础上,通过对典型饲草作物力学特性的研究,研制了适用于饲草作物的调质试验台,主要研究内容如下:(1)对典型饲草作物(青贮玉米秸秆、籽粒、紫花苜蓿及王草)的力学
学位
<正> 1913年生于北京市,1934年毕业于燕京大学生物系,1937年在北京协和医学院工作,1942年任北京中医学社社长,1945年任北京中国大学教授,1950年任北京中医进修学校副校长。现任安徽中医学院针灸经络研究所名誉所长、教授,全国中医学会理事,中国针灸学会理事,安徽省针灸学会副理事长,卫生部高等医药院校针灸专业教材编审委员会委员。 1937年进行了神经肌节传导及乙酰胆碱的生物学合成研究,
期刊
我国尾矿库数量、尾矿库灾害事故发生频次均居世界前列。尾矿库安全监测技术能及时测量并提供反映尾矿库安全运行状况的第一手信息和数据,能管控尾矿库当前运行状况,评估预测未来风险发展,从而科学地指导尾矿库生产运行,预防和减少发生事故灾害和环境污染。随着我国对尾矿库安全的日益重视,尾矿库安全监测的重要性日益提升,尾矿库安全监测技术也随之迅速发展。我国尾矿库安全监测技术发展经历了初级阶段、中级阶段和高级阶段,
期刊
<正> 1983年3月25日~26日于意大利首都罗马,在意大利卫生部领导支持下,由最高卫生研究所邀请中国、苏联、美国、匈牙利、印度五国专家教授6人参加国际天然医学讨论会。
期刊