基于Faster-OpenPose的深度图像体表关键点定位

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hyzxp01
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
体态检测是一项重要的医学检测,相较于CT图像,通过深度相机获取的深度图像由于其安全又便捷的优点,频繁地出现在体态检测研究中。体表关键点定位是体态检测中极为重要的一步,医师们对深度图像进行手工关键点标注会消耗大量时间且容易引入主观误差。同时,医院的计算机设备往往算力较低,参数量过大的网络会导致运行缓慢,难以被广泛应用。因此,亟需一种轻量级的深度图像精确定位方法。基于OpenPose设计了一种轻量级深度图像体表关键点精确定位网络:FasterOpenPose。针对深度图像带有距离信息的特点,提出了基于三维映射的背景去除方法,将二维坐标映射在三维实际空间中,计算人像边缘的三维坐标,并有效提取了深度图像中的人像区域,降低了杂乱背景对关键点定位的干扰。为满足实际应用中对关键点定位速度的要求,将OpenPose特征提取阶段的图像分类网络VGG-19的前10层,替换为Mobile Net V1的前6层,并使用迁移学习的方法,以Image Net数据集作为数据源域,获取图像分类网络的权重参数,不但减少了特征提取阶段的参数量,而且提高了深度图像特征提取的准确率。其次,裁剪了精炼阶段的向量图预测分支,保留热力图预测分支,减少双分支并行的计算消耗,并将热力图分支的迭代结构改为单支结构。模型深度加深后,会出现模型退化问题,导致定位精度下降,因此本文还设计了级联的深度可分离卷积模块,引入特征融合机制将卷积层输入端和输出端的特征图像进行融合,保留深度图像多阶段的体表特征信息,弥补了网络在前向传播过程中的特征损失,使用该模块代替7×7的大卷积模块,提升了模型的表达能力。Faster-OpenPose模型的总参数量仅为1.48 M,单幅深度图像的平均预测时间为1.31 s,参数量和预测时间优化为OpenPose模型的2.87%和21.20%。在COCO2017数据集上,Faster-OpenPose模型的m AP指标为67.4,AP50指标为88.9,AP75指标为74.2,与其他关键点定位网络的预测精度持平,但模型总参数量和单幅图像的预测时间明显优于其他方法。
其他文献
视频会议系统以网络为媒介传输不同位置人或群体的音视频信息,实现不受地域限制的实时交互与沟通,已广泛应用于教育、办公和医疗等领域。传统视频会议系统在屏幕上扁平排列参会者视频画面,缺少沉浸式互动体验。3D视频会议系统中的虚拟会议室场景具有沉浸感,但大多需要借助深度摄像头和头戴式设备,成本较高且长时间使用会引起眩晕等不适。因此,如何在不使用3D眼镜和显示器的条件下,实现用户视频与虚拟会议室场景实时融合并
学位
随着后摩尔时代的到来,系统级芯片的设计复杂性与制造成本正在急剧飙升。基于芯粒(Chiplet)的集成技术可以有效地降低芯片成本,提升芯片的灵活性与性能。然而现有的模拟器无法快速准确地模拟Chiplet体系结构:周期级模拟器模拟应用程序在目标系统运行的过程通常耗时长、速度慢,而抽象级别高的模拟器对片上网络(Network-on-Chip,NoC)微架构建模细节不足,无法准确模拟数据包竞争的现象,导致
学位
目前国家正通过疾病诊断相关组(Diagnosis Related Group,DRG)机制,实现医疗控费目标。但是该机制在医疗机构的实际应用效果并不理想。这主要由于该控费机制的准确度依赖于对患者治疗数据的精准分类,而DRG实施中存在如下问题,一是部分治疗流程重合度高而无法精准分类,二是治疗过程数据无法跨院可信共享,三是预测费用所需的历史付费路径无法完整溯源。所以设计实现一个准确度提升的分类与费率预
学位
如何得到更高精度的几何测量数据是当下工业测量领域的一个重要课题。基于影像和计算机视觉的工业测量技术在国外已经得到广泛应用,其在国内也受到越来越多的重视,但国内工业测量软件起步较晚,大多还是以采购国外软件为主。设计并实现一个面向几何量测量的图像采集系统对于我国工业测量软件自主发展具有重要意义。基于图像和计算机视觉的图像采集系统是相应测量仪器的上层管理应用,主要职责是采集到清晰、精确、信息突出的高质量
学位
自新冠疫情爆发以来,口罩遮挡人脸识别已经成为人脸识别领域一个最具挑战性的问题。最近的研究表明佩戴口罩会导致人脸识别方法出现明显的性能下降。目前大多数人脸识别方法都是为完整人脸图像设计的,而口罩遮挡使得人脸识别模型丢失了大约一半有用的生物特征信息,增加了人脸特征的类内方差,降低了类间的可分离性。因此,一般人脸识别模型在口罩遮挡人脸识别任务中表现出了明显的退化。解决遮挡人脸识别问题的方法一般是先检测遮
学位
随着当前社会的信息化发展,数据库管理系统的安全性越来越重要。在数据库安全技术要求中,客体重用是其中描述的一项重要安全功能。目前关于客体重用的研究主要集中在操作系统上,对于数据库客体重用测试的研究偏少,现有的数据库客体重用测试工具无法对内存资源进行安全重用检测,对磁盘资源重用的测试场景不够全面,并且对Windows操作系统的支持程度较差。因此,设计并实现一种面向Windows操作系统的数据库客体重用
学位
随着数据泄露事件的不断增多,安全神经网络逐渐成为机器学习领域研究热点,其中以秘密分享为主的安全多方计算成为学界重点研究的方向。然而现有以秘密分享为主的隐私保护机器学习框架大部分基于CPU实现,远慢于明文框架。最新的Crypt GPU框架实现GPU上的ABY3方案,极大提升线性计算效率,但其非线性计算方案通信复杂,不能很好地发挥GPU性能。同时Crypt GPU不支持最大池化,仅支持降低部分模型性能
学位
肾小球病理图像的自动分类有助于在肾脏病理学中建立有效和客观的诊断体系。随着深度学习的蓬勃发展,肾小球图像自动分类准确率不断提升,但是膜性肾病和基底膜结构改变等病变特征相对不明显的肾小球图像分类效果不佳,对该类肾小球分类需要在较小的区域捕捉病变特征,具有挑战性。目前并没有公开的病变特征不明显的肾小球数据集,因此在华中科技大学同济医学院收集膜性肾病和微小病变病人数据进行标注,获得4811张病变肾小球图
学位
构建数字化供应链已成为当前制造企业实现高质量成长的重要路径。然而,当前对数字化供应链与企业高质量成长之间的关系还缺乏充分的内在解释和实践指导,导致企业实施数字化供应链项目后业绩差异很大。本文基于开放式创新理论,从能力的视角解释数字化供应链,并将其划分为连接和生成能力两个维度。通过对231家中国制造企业调查数据的实证分析发现:数字化供应链能力对高质量成长有显著的正向影响作用,协同创新在上述关系中起部
期刊
音乐教育作为思想道德教育中的一个重要元素,教师要重视将思政元素融入到课程中,发挥思想引领与文化传播等方面的重要作用。文章选取高职钢琴音乐课程群作为研究对象,首先,基于中华优秀传统文化之精华,深入分析高职钢琴音乐课群思政教学的内涵,阐述了思政元素融入课程群教学的必要性;其次,指出当前思政教学实践过程中存在的问题;最后,提出高职钢琴音乐课群思政教学改革的思考。
期刊