基于深度学习的人体姿态估计研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:aiwaner
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年,在安防和人机交互等领域,人体姿态估计所扮演角色的重要性正在增加。视觉信息在人类活动中占有很大的比例,而人体的动作则是视觉信息里最直观也是最容易获取的,而且人体姿态估计到的信息可以完美的融合到视频中去,对于视频中人的行为理解也是必不可少的,因此有效的捕捉到人体的姿态并进行估计,就变得很重要,尤其是在当今这个数字时代,随着各种终端和移动端的视觉设备的应用,人类对姿态估计的理解变得更加迫切。由于设备采集的图片存在着模糊、尺度变化不一、人体姿态各异、分辨率不一致等问题,使得同时解决所有问题变得比较困难,再加上视频中存在着额外的影响因素,导致对其理解变得更加困难,为了有效进行人体的姿态估计,本文提出了一种基于深度卷积神经网络的人体姿态估计方法,并结合行人重识别等相关技术将单帧图片上的人体姿态估计引入到视频中,进行视频中的人体姿态跟踪。本文的主要工作和贡献为:(1)提出了用于单帧图片人体姿态估计的级联金字塔网络。该算法以深度卷积神经网络为基础,将网络分为全局网络和精调网络两个步骤。在残差网络的基础上直接使用特征金字塔结构去融合不同尺度的图像特征,从而避免了在输入端的多尺度输入,实现全局网络下的人体关键点的大致估计,在此基础上,对特征金字塔的每一个输出分别进行单独的处理,并在最后进行拼接用来对之前估计的关键点进行精调,同时在这里使用了在线难样本挖掘技术,对那些比较难解决的“困难点”进行学习。整个网络是端到端进行训练的,使用了全局网络和精调网络相结合的中继监督方法,能够使得两个网络相互补充,有利于整个网络的学习。实验结果也表明,本文提出的方法十分有效,在精度上取得了目前最好的结果。(2)提出了用于视频中的人体姿态跟踪算法。该算法利用基于局部对齐的行人重识别技术,将其作为外观模型进行人体的特征提取,创新性地使用单目标跟踪算法去解决多目标跟踪的问题,单目标跟踪算法不仅可以生成小段轨迹,而且可以对漏掉的视频帧进行差值补全,还能增强轨迹的平滑。而多目标跟踪则是利用设计的一系列规则将小段轨迹拼接成完整的轨迹。在具体实现过程中,除了利用行人再识别技术进行特征提取进行相似性度量之外,还用到了框与框之间的交并比,重复利用了视频的时空信息,更具有鲁棒性。最终的实验结果也表明,本问题提出的方法是很有效的,而且很有竞争力。本文在MSCOCO和Posetrack两个关于人体姿态估计的公开数据集上都做了充分实验,实验结果表明了本文提出方法的合理性和有效性。
其他文献
无线电基站集约化,也叫公用移动通信基站集约化,就是将若干运营商的某些移动通信网络的室外基站及其室内覆盖系统集中在一起建设,实现资源共享、统一覆盖的一种基站建设模式.
近年来伴随计算机视觉技术的发展,视频监控开始向智能化方向发展。基于视频监控的异常检测作为智能视频监控的重要组成部分,具有广泛的应用空间。本文针对室内场所,运用目标
为配合国家计量技术规范交流电度表现场校准技术规范JJF1055—1997的实施,本 文作者结合多年来开展的电能计量检定工作经验,介绍了基层电度表现场校准工作中存在 的一些问题,并对现场校准所
21世纪是充满竞争的时代,主要表现为各国经济和科技实力的竞争,其核心是人才的竞争。对科技密集型的医院来讲,医学人才的培养很关键。现在都采用送出去进修学习,请进来专家讲课等
以滑坡剩余推力法计算和地基沉降量计算为例,介绍了Excd在岩土工程计算中的一些应用,实践结果表明:Excd软件有其独特的优点,利用其进行岩土计算可以大大提高工作效率,值得推广应用
场馆区域移动监测是奥运会无线电管理保障的重要组成部分,认真分析、研究其特点和规律,对做好奥运会无线电保障工作具有十分重要的意义。江苏省无线电监测站许志红通过参加2007
介绍并比较了电压控制型和电流控制型开关电源的基本原理,提出了一种电压控制型开关电源加电流截止负反馈的方法。由SG3525实现的开关电源电路实例,证明了这种电路的优点。
0引方  随着各级无线电管理部门不断加大投资力度,加快无线电监测网的建设,全国无线电监测网的格局正逐步形成.如何合理地配备先进的无线电监测系统和正确选择监测、测向系
导读:任何一门学问的兴起,都有它现实的社会基础。城市研究和城市文化成为当下一门显学,源自世界范围内大规模的城市化进程。