基于3D骨骼序列的动态手势识别的局部时空同步网络模型

来源 :兰州大学 | 被引量 : 0次 | 上传用户:ranranwenwen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着5G技术、深度传感器以及大数据的兴起,极大提升了计算机处理自然交互信息的能力,也在动态手势识别领域中掀起了对3D骨骼数据研究的新热潮。传统的方法,通常取决于手工制造的遍历规则,在描述骨骼数据的语义信息时,其表达能力有限,泛化难度大。手势中的高级信息是通过一系列复杂的复合动作来表示的,目前,基于深度网络和骨骼图的方法在学习手势的特征上取得了一定的效果。然而,在学习有效的时空信息问题上仍存在很大挑战。为此,本文提出一种基于3D骨骼的局部时空同步网络模型以及融合手部运动特征的自适应模型。首先,针对时空信息特征的提取问题,本文提出一种基于3D骨骼的局部时空同步网络(LSTSN),该模型能够同时处理空间和时间信息,获取更有效的特征。其关键思路是,基于骨骼节点网络的信息特征建立一种三邻帧的局部时空图,并在空间图中定义手骨骼关节的空间连接关系,以此突出每个节点与其主要相邻节点的相互作用,然后运用注意力机制设计一个局部时空同步注意力模块,以帮助模型更高效地捕获局部三邻帧手势数据中复杂的时空相关性。同时,通过在不同三邻帧时间段设置多个局部时空同步注意力模块来捕获数据中的异质性。实验结果表明,在单流数据下,所提出的LSTSN模型识别效果优于当前最优的方法。其次,针对动态手势在每个时间层次具有不同语义信息的问题,本文对LSTSN模型进行了改进,设计一种基于阈值的自适应方法,以灵活地改变不同层的节点连接关系。此外,为了进一步研究动态手势的动作特征问题,本文引入指尖的相对位置向量,以精确地描述手指的运动,并提出融合手动作的自适应局部时空同步网络模型(HM-ALSTSN),该模型在网络复杂度方面具有较大优势,并取得较好得识别效果。最后,本文设计了采集动态手势数据库的方法,并以HM-ALSTSN模型为核心算法,构建实时的动态手势识别系统。实验结果表明,该模型在321Gesture数据集上也取得了较高的识别率,在系统中具有较好的适应性和实时性。
其他文献
物联网技术的快速发展推动了无线传感器网络的广泛应用,如何为低功耗传感器设备供能成为近年来备受关注的问题。无线能量传输与环境能量收集技术的发展为低功耗设备提供了一种新的供能方式,逐渐成为电磁领域的一个研究热点。超材料对电磁波具有非常灵活地调控作用,为电磁能量收集技术提供了新的解决方案,具有广阔的发展前景。本文首先对无线输能和能量收集超表面技术的发展进行介绍,其次,归纳了能量收集超表面的工作机理与微波
学位
背景:局部晚期喉癌患者在喉全切除术中应常规进行甲状腺切除术,但其临床适应症仍存在争议。本研究旨在通过系统回顾和Meta分析明确局部晚期喉癌患者中甲状腺侵犯的发生率及危险因素,并通过回顾性分析探索局部晚期喉癌患者中甲状腺侵犯的潜在预测因子,以期进一步明确甲状腺切除术在局部晚期喉癌中的获益人群。方法:1.在MEDLINE(1982-2020)和EMBASE(1971-2020)数据库中检索并筛选研究局
学位
作为精神疾病高发国家,中国精神疾病的就诊率和治疗率普遍偏低。在医疗资源缺乏和人口基数大的背景下,基于脑电等生理信号特征在可穿戴设备上部署检测算法,对精神障碍高发群体进行居家检测和定期筛查是提高患者就诊率和提升诊断效率的重要手段。算法部署需要提高设备性能,适配多种疾病分类需要提高设备普适性,便携检测的需求却限制了电池的容量,提高可穿戴脑电设备性能和普适性的同时如何降低功耗成为了检测技术发展中的关键问
学位
赢者通吃(winner-take-all,WTA)或其广义形式k-WTA作为竞争的一种重要体现形式,在群体系统协同作业中能够保证群体活力、提高效率、合理配置资源等,具有重要的理论意义和广阔的应用前景。多机器人系统作为一种典型的智能群体系统,在任务执行效率、鲁棒性、灵活性和容错性等方面与单机器人系统相比占据优势,同时涵盖了分布式决策、编队控制、区域覆盖等应用领域。然而现有面向k-WTA的研究很少考虑
学位
目的随着调强放疗(IMRT)或容积调强放疗(VMAT)的引入,胸部恶性肿瘤的放疗进入精准时代,新技术显著改善了靶区的适形度及均一性,减少了靶区外接受高剂量肺的体积,然而代价是使得更多的肺受到低剂量照射。目前基于症状和影像学评估的放射性肺毒性评价标准难以早期发现和评估大范围低剂量暴露模式下的肺损伤。因此,我们采用肺通气和换气功能指标对接受不同放射肺暴露的胸部恶性肿瘤(食管癌和乳腺癌)患者行肺损伤的动
学位
背景及目的:食管癌是恶性肿瘤中预后最差的种类之一。利用监测、流行病学和结果数据库(SEER数据库)筛选影响老年局部晚期食管癌患者的预后相关因素,并利用列线图构建预后预测模型。方法:使用SEER数据库中的28735例食管癌患者(2010年-2016年)的临床数据(包括年龄、保险情况、性别、婚姻状况、种族、原发灶位置、组织学分类、分化程度、肿瘤大小、TNM分期、手术情况、放疗情况、化疗情况、生存状态及
学位
【背景和目的】microRNA-221-3p(miR-221-3p)和microRNA-222-3p(miR-222-3p)均为小分子非编码RNA,能在转录后水平调控靶基因信使RNA(messenger RNA,m RNA)的翻译,调节蛋白质的合成,两者均定位于X染色体,拥有相同的转录本和种子序列,具有高度同源性。最近的研究证实,miR-221/222-3p的异常表达与多种恶性肿瘤的发生发展密切相
学位
背景及目的恶性肿瘤是当今世界上一个严重的公共卫生问题,同时也是全球最普遍的死亡因素之一。近年来,随着胃食管反流病及肥胖问题的高发,食管胃结合部腺癌(Adenocarcinoma of esophagogastric junction,AEG)的发生率也急剧增加。虽然通过各种综合治疗手段,但晚期AEG仍然预后差,生存期短。炎症是公认的恶性肿瘤标志,它在很大程度上推动着恶性肿瘤的发展。外周血中性粒细胞
学位
高斯过程回归(Gaussian Process Regression,GPR)是一种基于贝叶斯理论体系发展而来的非参数机器学习方法,适用于非线性、高特征维数、小样本等较为复杂的机器学习问题的求解。GPR通过最大化边际似然函数对超参数进行优化,相比于其他机器学习方法,其算法效率较高,具有良好的泛化性能并具备较好的可解释性,目前已成为机器学习领域重要的研究方法之一。复值信号广泛存在于科学和工程领域,如
学位
近年来,行人重识别(Person Re-Identification,缩写为Person Re ID)在深度学习领域被广泛研究。该技术在警用追踪、失踪人口寻找和城市安全管理等方面都有着很广泛的应用前景。行人重识别旨在于在多个不重叠的监控相机下检索目标人物,主要包含行人检测和行人重识别两大部分。而现在的行人重识别研究工作中,学者们都侧重于重识别部分的研究。因为通常将裁剪后的行人图像作为数据集来衡量网
学位