基于深度学习的静态帧图像人体姿态估计及应用

来源 :西安理工大学 | 被引量 : 0次 | 上传用户:cexo0924
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计广泛应用于人体动作识别,人体动作的检测和跟踪,体育运动分析,人机交互等方面。由于人体复杂的结构和人体部位的灵活性,姿态估计是计算机视觉领域的困难问题。姿态估计目的是检测人体的不同部位,估计关节的关键点的坐标。然而,传统算法类似基于HOG特征的人体关键点检测算法,往往检测准确率较低。本文主要研究了基于深度学习的人体关键点检测算法,采用ResNet101层网络实现了对静态帧图像人体关键点的检测,同时得到关键点的类别和坐标。首先构建ResNet101层模型,充分学习高维度的人体关键点的视觉特征,优化目标为使得分类误差和定位误差的总和最小;其次,改进关键点定位损失函数,使用huber损失函数代替MSE损失函数;最后实现基于关键点检测的人体摔倒状态检测。主要工作包括以下4个方面:(1)训练数据预处理和摔倒图像的收集。首先,对原始姿态检测库MPII数据进行预处理,通过裁剪,翻转,镜像等方式扩充原始单人姿态数据;其次,收集了真实生活中的摔倒图像,为摔倒检测提供数据基础。扩充后的数据,更符合ResNet101层网络的要求。(2)针对关键点定位不够准确和鲁棒性不够好的问题,提出了改进的关键点定位损失函数。文中完成了 3种不同ResNet模型的搭建,设计了 3种关键点定位损失函数,分别是均方差损失,光滑的L1损失,和huber损失函数,提高了关键点定位的准确性。(3)提出了一种简单的基于人体关键点检测的摔倒检测方法。首先基于ResNet检测人体关键点,以抽取人体姿态的4个角度特征;其次,研究了基于机器学习多种分类模型,包括SVM、KNN、决策树和随机森林模型,以进行摔倒的判断。(4)对所研究的算法进行了软件的实现。在Linux环境下,搭建了 tensorflow分布式深度学习平台,在GPU上进行ResNet模型的训练和测试。所开发的软件可以实现静态帧图像场景中的单个人体关键点检测,整个人体姿态估计以及摔倒的判断。
其他文献
毛刺对零件的精度、外观质量、使用寿命、装配精度、使用要求、再加工定位和操作安全等方面产生不良的影响,导致整个机械系统工作性能、可靠性、稳定性大大降低。高压断路器的铜触头部件在机械加工中产生大量毛刺,严重影响其功用,主要体现在:容易引发尖端放电现象,严重加剧铜触头被电弧烧蚀,大大降低介质绝缘强度,影响断路器的遮断能力,必须进行毛刺去除。目前企业采用人工去除的方法,去除一致性差,效率低,而且去除过程的
随着人工智能技术的快速发展,智能机器人开始广泛应用于工业生产、军事作战以及居民生活的方方面面。是否具有同步定位与地图构建的能力是判断移动机器人是否具备自主导航能力的关键条件之一。视觉传感器因其成本低、探测范围宽、信息量大、特征丰富、图像特征易于提取的特点,已被广泛地应用在基于视觉的同步定位与地图构建(Visual-based Simultaneous Localization and Mappin
优化问题普遍存在于控制、网络通信、水利水电、计算机等工程领域,而工程实践问题往往优化模型复杂程度高、求解难度大,具有较严苛的约束,传统的优化算法已不能满足其求解需求。智能优化算法依赖于一个种群,以“生成+检测”的方式依据一定的策略或规则在问题的解空间中随机产生新解,并通过对产生的新解进行评价和比较,使种群逐步趋近于问题的最优解并最终收敛,已经成为求解强约束优化问题的有效方法。因此本文针对强约束优化
在传感器网络的研究中,覆盖是开展一切监测任务的基础。与全向传感器节点不同,有向传感器节点的感知能力受感知角度的限制,使传感器网络的覆盖问题变得复杂。本文围绕有向传感器网络的区域覆盖问题,对感知模型和区域覆盖优化算法进行了讨论和研究。首先,本文在对构成有向传感器网络的节点感知模型分析研究的基础上,改进得到一种多探测点感知模型。在此模型基础上,引入虚拟势场,并重新定义虚拟力下的作用力。使传感器节点在合
近年来世界各地发生的客车着火事故,给社会和乘客都带来了巨大的损失,乘客的生命财产安全存在威胁。目前汽车上的逃生装置多为安全锤砸破车窗玻璃从而逃生。为了解决安全锤的操作弊端,我们设计了一种新型汽车逃生装置,当发生火灾或者恐怖袭击时,系统将汽车车窗玻璃爆裂,使乘客尽快逃生,并且不伤及乘客。本次课题所研究的公共汽车车窗玻璃爆裂控制及监控系统是一个涉及GPRS网络技术、GPS/北斗卫星定位和LORA射频通
柔印属于轻压力印刷,其压力的轻微变化会对印品质量产生重要影响。通常柔印压力的确定主要靠预印、检验印品质量来确定。这种压力确定方式需要消耗一定的人力、物力,且易受人为主观因素的影响。目前BOBST已经研发出一套柔印压力自动预测系统,根据版面信息,能够在贴版环节直接实现开机印刷压力的准确设置。基于此,为了实现柔印压力的预测,本文以陕北人FCI300柔印机为研究对象,研究了版面图文特征对印刷压力的影响;
随着科技的发展,未来的战场环境将越来越复杂多变,单个无人机已无法满足未来战场的需求,多无人机协同恰恰能弥补单机的不足,通过多个无人机之间的相互配合,可以完成更多复杂且艰巨的任务。任务分配和路径规划是无人机协同的两个重要部分组成。任务分配就是用最小的资源代价尽可能多的完成任务的指派,是解决多无人机多任务问题的难点之一;航路规划是在完成任务分配的基础上,找寻从基地出发到各个任务点完成任务并返回基地的最
目前机器人技术的发展日新月异,其智能化程度已经成为国家科技水平和综合国力的评价标准之一。其中,移动机器人能够代替人类在各种环境下从事复杂的重复性作业,在国防、星球探索、家庭服务等领域应用非常广泛。移动机器人要在未知环境下完成任务,就必须无碰撞的到达目标位置,因此路径规划是移动机器人最重要的一项基本能力。为了使移动机器人在未知环境下直接基于视觉信息自主学习最优动作,本文提出了一种端到端的路径规划算法
在印刷的过程中,印刷前会对数字连续调图像进行半色调处理,变换后的半色调图像具有与原图像相同的视觉效果,并且解决传统印刷无法实现连续调图像打印的难题,但却引入了半色调噪声,造成原图像一定程度的信息缺失。如果得到的是一张半色调图像,并想对其进行压缩、缩放、增强、识别等数字图像处理操作,则必须先对该图像进行逆半色调处理,恢复原图像缺失的部分信息。目前,数字图像逆半色调方法有很多,查找表法(LUT)逆半色
随着人们生活水平的提高,食品医药产品的质量越来越受到重视。产品包装的质量是食品医药产品质量可靠性的保障。产品包装密封性检测在包装设备上的应用极具前景。因此有价值探索高灵敏度、高可靠性的气体密封性检测方法。基于压电聚合物聚偏氟乙烯(PVDF)材料的气体传感器具有便于大批量制造、柔韧性好、性质稳定等优点,被认为是理想的气体传感器之一。但如何将该传感器用于包装泄露产生的微弱变化的检测成为其应用的难点。本