基于深度学习的单张彩色图像手部姿态估计方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:xyhai110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
手部是人在生活中使用频率较高的部位之一,在人机交互中发挥着关键作用。但现有大多数基于深度学习的2D手部姿态估计方法使用了单一尺度特征图或低分辨率热力图来提取关节点位置信息,限制了对关节点的检测精度,此外,目前只注重独立关节点约束的3D手部姿态估计方法会导致手部姿态产生变形失真的现象。因此,针对以上手部姿态估计领域中出现的两个问题,本文将基于姿态估计领域的最新研究,开展对基于深度学习的单张彩色图像手部姿态估计方法的研究。本文针对手部遮挡问题提出一种基于高分辨率Heatmap的2D多尺度特征融合网络,2D高分辨率Heatmap提供了更准确且丰富的邻近区域手部关节点之间的相对位置信息,并将不同尺度的手部姿态特征加以融合,使得网络更充分全面地学习手部关节点从局部到整体的相互依赖关系,每一个独立的关节点,包括手部遮挡关节点的坐标预测受助于位于小尺度上的局部特征信息,而手部所有关节点之间的整体相对位置关系则可以由位于大尺度上的全局特征信息提取得来。在采用单张彩色图像而缺少关节点深度信息的场景下,针对手部姿态的变形失真问题,本文提出一种引入相邻关节点方向约束策略的3D关节点回归网络算法模型。3D手部结构增加显性的生理性约束使得网络明确地注重于手部的扭曲损失,有效捕捉到了3D手部结构的联结关系。为了验证所设计方法的可行性和有效性,本文在手部姿态估计领域公开的Frei HAND数据集上与现有算法进行定性和定量两个方面的对比实验,定性对比实验结果表明,本文方法能有效提升对2D手部遮挡关节点的检测效果,同时回归出准确的3D手部姿态,证明了本文方法的可行性和有效性。同时,通过量化对比实验表明,本文提出的M2HPE模块和R3HPE模块分别在2D手部姿态估计和3D手部姿态估计的任务上,相比于基准模型,AUC指标分别提升了2.5%和1.3%。
其他文献
目的探究老年性骨质疏松患者与正常人群体内血清中及骨髓中mi R-545-3p及LRP5的表达水平是否存在差异。方法选取2020年9月-2021年9月在安徽中医药大学附属第一医院因髋部骨折(包括股骨颈骨折和股骨粗隆间骨折)需住院手术的患者19例,其中股骨颈骨折接受了髋关节置换治疗,股骨粗隆间骨折接受了髓内固定治疗,排除过去5年中患有糖尿病、严重肾功能不全、甲亢、甲减、血液疾病、恶性肿瘤等影响骨代谢的
学位
目的创伤性脑损伤(TBI)是常见的创伤疾病之一,每年全球因治疗TBI花费大量资金,但患者的治疗效果改善并不明显。不断深入的对TBI患者预后相关因素进行分析,发现凝血功能指标异常及感染与其有着密切的相关性。本研究对入住ICU中、重型颅脑损伤患者的凝血功能各项指标及格拉斯哥昏迷评分、临床肺部感染评分和格拉斯哥预后评分进行收集分析,评估凝血功能指标及肺部感染评分对患者的预后价值,并对两者之间的相关关系进
学位
目的:1.对制度化环境中生活空间评估量表(Life-Space Assessment in Institutionalized Settings,LSA-IS)进行汉化,并对中文版LSA-IS进行信效度检验。2.采用中文版LSA-IS量表对医养结合型养老机构入驻的老年人生活空间水平进行调查,并分析其影响因素,以期为医养结合型养老机构老年人的生活空间水平的干预措施的制定提供理论依据和参考。方法:本研
学位
目的:通过对现有的抗胆碱能量表进行归纳分析,选择最合适的量表用于抗胆碱能药物的筛选及抗胆碱能负担的评估。分析老年住院患者营养状况与抗胆碱能负担间的关系及发生营养不良的相关影响因素,促进临床规范使用易增加抗胆碱能负担的药物并关注此类患者营养状况。方法:在Pubmed、Web of Science、CNKI中进行系统检索,筛选出符合条件的系统综述:(1)文中使用工具为抗胆碱能量表;(2)文中明确说明使
学位
机器人协助或替代人类完成重复性任务已经成为了当今技术发展的潮流与趋势,在 3C(Computer,Communication and Consumer Electronics)产业,由于产品体积小、配合精度高等原因,传统的工业机器人无法满足灵活装配的需求。为此,课题组提出了由3T1R机构和3R机构组成的并联双模块机器人来实现灵活装配。但是,由于机器人的制造误差、机器人的标定误差以及零件在机器人末端
学位
行人重识别技术是行人追踪检索、刑侦、安防等应用领域的重要基础,在维护社会治安和构建智慧城市中有着重要作用。在行人重识别任务中,行人在摄像头下出现时间较短,造成训练数据不足,而且拍摄行人图像存在遮挡、光照变化等噪声的影响,会使行人重识别模型性能出现明显退化。本学位论文针对以上两个问题,使用视频预测模型生成数据,扩充数据集。在行人重识别模型中使用门控循环单元提取时间运动信息,引入自注意力机制提取序列具
学位
学位
目的:近年,肺炎克雷伯菌(KP)感染占据革兰氏阴性菌中(GNB)的高位,现已出现两种新型KP,分别为耐碳青霉烯类肺炎克雷伯菌(CRKP)和高毒力肺炎克雷伯菌(HvKP)。相较于传统意义上的KP,CRKP和HvKP对患者会产生更多的损害,又由于这两种分型可对多种抗微生物药物均产生耐药,使得在抗微生物药物的治疗选择上有更多的限制,目前对这两种新型KP的治疗仍处于摸索阶段,尚无明确的有效治疗方法。当下,
学位
声定向系统是一项利用超声窄波束性质和调制手段定向载运可听声的融合系统,涉及信号处理、指向性研究、换能器工艺等,可用于多种生活场景,营造私人音域空间,避免噪声污染。虽然该项技术已有一定的理论指导,相关实验验证尚且不足,设计一种能够实现声定向的系统并对其做一定的性能提升是本文的主要出发点。声定向系统的关键技术主要包括声信号处理、阵列指向性及系统搭建三个方面。在信号处理方面:基于已有的信号调制方法,进一
学位
近年来以深度学习为基础的人脸识别算法在日常生活中得到了广泛应用,该技术在为人们带来极大便利的同时也引发了人们对于人脸隐私泄露的担忧。一些研究者和商业公司可能在未经许可的情况下擅自使用他人的人脸图像用于算法研究及商业活动,对公民的个人隐私安全产生了严重威胁。许多国家正陆续出台相关法律法规来约束人脸数据的采集和使用,与此同时,以深度学习为代表的算法对数据的使用需求在日益增加。如何对人脸图像进行匿名化编
学位