基于深度学习的复杂人体姿态估计研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:c42865
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计是研究定位图像或视频中人的关键点(关节点),并连接相邻关联关键点的技术。姿态多样、光照变化和环境遮挡等是影响人体姿态估计精度的主要因素。提高人体姿态估计质量在实践中有迫切的应用需要。本文重点围绕基于深度学习的复杂人体姿态估计问题展开研究。在深入研究现有基于深度学习的人体姿态估计方法的基础上,提出一个新的关键点关联约束的复杂人体姿态估计网络KACNet。该网络充分考虑了人体相邻关键点之间的关联关系,并利用该关联关系辅助预测关键点。提出了关键点关联约束的级联沙漏复杂人体姿态估计网络SH-KACNet。该网络利用关键点关联关系约束级联沙漏通道实现关键点预测。实验结果表明,KACNet和SH-KACNet方法不仅能够准确地定位和连接复杂姿态的关键点,且鲁棒性好。本文工作主要体现在以下四个方面:(1)学习了基于模型和基于整体特征的传统人体姿态估计方法。深入研究了几种具有代表性和最新的基于深度学习的人体姿态估计方法,并数值实现。指出复杂人体姿态估计问题面临的挑战,及其在实践应用中具有的重要价值。(2)提出一个新的关键点关联约束的复杂人体姿态估计网络KACNet,该网络由两个通道及一个融合模块组成。KACNet网络的级联卷积通道在距离损失函数的约束下学习获得关键点位置和置信度信息;关键点关联约束通道在关联损失函数的约束下学习获得符合人体生理特征的关键点关联关系;融合模块在加权损失函数的约束下融合关键点位置、置信度及关键点关联关系获得复杂人体姿态。大量公共数据集和Internet数据测试的实验结果表明,KACNet网络能够有效抑制背景干扰,提高复杂人体姿态关键点的估计精度,鲁棒性好。(3)提出关键点关联约束的级联沙漏复杂人体姿态估计网络SH-KACNet。SH-KACNet网络相比于KACNet网络,其关键点关联约束通道额外获取了关键点类别标签,该标签有助于提高级联沙漏通道的预测精度。(4)增强LSP数据集,构建了适合训练复杂人体姿态网络的增强数据集EN-LSP。改进MS COCO数据集专用的评价指标OKS,设计了不依赖数据集的评价方法OKSm。
其他文献
目的:探索麦粒灸法改善血脂异常情况下肝细胞自噬的分子作用机制。基于AMPK/mTOR信号通路,探索麦粒灸法通过影响TFEB,调节高脂血症SD大鼠肝脏细胞自噬的分子生物学机制。方法:本研究以SD大鼠(n=30)为研究对象,在喂养高脂饲料8周后采用ELISA法检测血脂四项(LDL、TC、TG、HDL)。实验分组:以Blank组、HFD组、HFD+Drug组、HFD+CC+Moxi组与麦粒灸干预组(HF
中国的文化历史悠久,影响深远。随着计算机技术的进步,数字媒体艺术设计的发展,开始有越来越多的人关注中国文化,并把中国元素应用于数字媒体艺术设计中。本文主旨在于探讨数字媒体艺术设计中中国元素的实际应用,文章首先介绍了数字媒体的含义以及中国元素在数字媒体艺术设计中美学的应用价值;其次介绍了数字媒体艺术设计中中国元素的实际应用;最后文章指出了目前数字媒体艺术设计中中国元素应用存在的不足之处,并展望了媒体
社会支配倾向反映了在一个有等级分层的群体中,个体对优越和支配地位的渴望程度,它影响着个人在社会中对他人的态度和行为。高社会支配者通常会表现出优越、支配、渴望比他人拥有更高的社会地位和权力,而低社会支配者则相反。但是大学生社会支配倾向和心理疾病之间的潜在关系研究不多。动物模型研究结果表明,形成一个支配-从属群体使得所有个体,尤其是从属动物产生了不可避免的社会应激反应和行为障碍,但对支配动物的影响及其
随着我国教育体制的改革,《普通高中数学课程标准(2017年版)》明确提出:数学教育承载着落实立德树人根本任务、发展素质教育的功能,高中数学课程面向的是全体学生,实现“人人都能获得良好的数学教育,不同的人在数学上得到不同的发展”。然而,每个班级总有一部分学生的数学学业成就普遍低于同年级的平均水平,数学学习困难,即使他们身处较好的学习环境,但自身在数学学习上的发展举步维艰,他们被称为“数困生”。因此,
壁画是我国文化遗产的重要组成部分。随着时间的流逝,受自然环境影响,古代壁画出现了多种多样的病害。病害标注是对壁画出现病害位置、大小的记录,是壁画状态调查和保护修复的基础,在保护文物中起着重要作用。颜料层脱落是壁画病害中较为典型的一种。目前,壁画的颜料层脱落病害标注主要通过人工标注或结合机器学习算法进行交互式标注,前者耗时耗力,后者准确度有待提高。同时,现有标记方法主要是基于人眼目视在一般数码相机采
文物体现了中华民族不同时期的发展与变化,是五千年以来人类劳动和智慧的结晶。但是由于风雨的侵蚀、地震的破坏、战争的损毁以及人类挖掘的损坏等因素,文物出现了不同程度的残缺。所以对文物进行数字化保护,能够在研究其历史价值和文化价值的同时,不再对其进行二次损坏。但是在数字化过程中,由于现有的基于扫描的和基于深度相机的数字化方法存在遮挡、人工误差、传感器分辨率限制等问题,文物会产生较大的残缺区域,所以对残缺
中国尤其陕西拥有丰富的古代绘画资源。这些古代绘画具有非常重要的艺术、科学和历史考古价值,但是它们现在生存状况十分堪忧,其中绝大部分绘画存在严重的病变、破损甚至消亡问题。破损的古代绘画严重影响了以绘画为代表的数字文化遗产鉴赏和传承效果。为了提高古代绘画数字化质量,本文将针对破损的低品质古代绘画图像,利用深度学习的理论与方法,研究对应的技术措施来重建高品质古代绘画图像。由于古代绘画图像结构复杂且样本数
习题预测任务是指利用学生历史答题数据预测学生未解答习题的正确性,它可以为学生呈现其知识掌握状态,方便学生查漏补缺;习题预测任务也可以帮助教师个性化教学,实现因材施教。本文将学生作答的习题分为“练习习题”与“考试习题”。“练习习题”是指学生平时学习过程中,为提高知识状态,自主练习的习题。“考试习题”是指在学期测验时,所有学生被要求在规定时间内完成考试所解答的习题。在学生自主学习过程中,由于“练习习题
在推动边疆民族地区高质量发展上闯出新路子在服务和融入新发展格局上展现新作为在推动绿色发展上迈出新步伐在巩固发展民族团结、社会稳定、边疆安宁上彰显新担当凝心聚力建设新时代中国特色社会主义壮美广西,是习近平总书记为新时代广西发展擘画的宏伟蓝图。我们把深刻领会“两个确立”的决定性意义切实转化为坚决做到“两个维护”的高度自觉,
期刊
鬼成像作为一种新型成像方式,利用了光场的二阶关联特性计算出目标图像。由于这一特性,与传统成像方式相比,它可以实现在雨雪雾霾等较差的光学环境中抗散射成像,且抗噪性强。因此,在一些特定场景下,鬼成像比传统成像更具优势。然而鬼成像普遍存在的问题是其成像质量与采样次数成正相关,高质量的成像效果意味着极大的时间成本,本文从原理出发,利用深度学习方法从两个方向优化了计算鬼成像系统的性能。首先,针对利用计算鬼成