基于结构先验表达与学习的人体姿态估计

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:asdfghjkc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从图像中估计人体姿态是计算机视觉领域具有挑战性的问题之一。人体姿态估计的研究对人体跟踪、行为识别和图像高层语义理解等许多其它计算机视觉问题有重要的推动作用,在实际中也有广泛的应用价值。虽然前人对该问题做了不少研究,但由于大尺度形变、视角变化、遮挡和复杂背景等因素的影响,人体姿态估计至今仍是一个较难的研究问题。传统方法主要采用树型结构模型,其结构化表达能力较弱,对形变和遮挡不鲁棒。在姿态估计的后处理中,常用的检测框非极大值抑制也忽略了人体的结构信息。图像中的物体和人有其固有的结构先验属性。利用结构先验对人体进行结构化建模是解决人体姿态估计中难点问题的重要途径。人体姿态估计中的结构先验包括人体部件之间的上下文空间约束关系,部件与部件之间以及部件与背景之间的遮挡关系,以及镜像对称结构关系等,它们对克服人体姿态估计中的困难因素具有重要的作用,但传统方法并没有充分考虑到。本文从结构先验表达与学习的角度对人体姿态估计问题进行研究,主要展开了以下工作:  (1)提出了一种上下文结构模型,用于解决人体姿态估计中由遮挡和形变引起的重复检测的问题。传统的树型结构模型对人体部件之间的物理连接关系进行了建模,却忽略了不直接相连的左右肢部件之间的约束关系。人体部件是左右对称的,当某些部件存在遮挡和大尺度形变时,左右两边的部件很容易同时被定位到特征较强的一侧部件所在的图像区域,产生重复检测的问题。我们提出一种上下文结构模型,它既包含了相连部件间的局部运动学约束,又包含了不直接相连的部件之间全局的上下文约束。通过引入虚拟部件,我们可以用树型结构对局部和全局的约束关系进行表达,并且可以利用动态规划对模型进行快速高效的推理。我们所提出的方法能够有效克服现有树型结构模型在局部遮挡和大尺度形变下容易出现重复检测的不足,提高了人体部件的检测精度,特别是难度较大的肢体末端部件的检测精度。  (2)提出了一种遮挡关系图模型,用于解决人体姿态估计中的遮挡问题。遮挡是人体姿态估计中的一个难点问题。主流的树型结构模型虽然结构简单且便于快速推理,但难以对复杂的遮挡关系尤其是自遮挡关系进行建模。带环图模型的模型表达能力较强,但其推理复杂度很高,这限制了它在人体结构建模中的应用。我们提出一种遮挡关系图模型,它能同时对自遮挡和它遮挡进行建模,并学习人体部件之间以及部件和背景之间的遮挡关系。同时,我们提出一种高效的带环图模型推理方法,能使我们的模型既具有较强的遮挡关系表达能力,又具有和树型结构模型相近的推理复杂度。实验结果表明,我们的方法在遮挡情况下能得到更为鲁棒的人体姿态估计结果。  (3)提出了基于镜像非极大值抑制方法,用于提高人体姿态估计后处理的精度。后处理环节是人体姿态估计中容易被忽视的问题。传统方法主要基于检测框极大值抑制,忽略了人体姿态的结构信息,因而得到的后处理结果并不是最优的。此外,现有方法没有考虑到原图和镜像图检测结果之间的镜像一致性。我们提出一种镜像非极大值抑制的后处理方法,它能够利用镜像图像的检测结果来验证姿态估计结果的有效性,同时考虑了人体姿态的结构信息。  实验结果表明,我们的方法能够得到比传统方法更优的后处理结果。我们的方法还可以应用到人脸关键点检测等问题的后处理上。
其他文献
学位
本文通过理论分析,充分剖析了模糊控制,遗传算法的基本内容和运行机制,然后借助遗传算法对模糊控制中的隶属函数,控制规则和量化因子的优化问题进行了研究。随机双线性模型是一种
图像是人类感知世界的视觉基础,是人类获取信息、表达信息和传递信息的重要媒介。随着当前图像获取技术的发展,人们通过各种图像采集设备方便快捷地获取大量的图像。如何从海量
在很多计算机视觉问题中,图是表示结构特征的有效载体,而图匹配是获取图之间关系的重要方式。过去,由于受到计算机计算能力的限制,图匹配算法未能得到广泛的应用。目前,计算机计算
时滞系统状态反馈预测控制(Time-DelayDependentStateFeedbackPredictiveControl--DDSFPC)是针对具有状态滞后、控制作用滞后及可测干扰的离散时间系统,提出的一种改进的状态
本课题研究内容为RUSKAPVT2370控制系统改造的一部分,在保留使用原系统设备及传感器的基础上,完成PVT系统测控电路设计、实现系统的运动控制功能并设计基于PC的监控界面。
游梁抽油机具有结构简单和可靠性高的优点。但也有许多缺点,主要表现在系统效率低、冲程短及冲次不可调上。针对游梁抽油机的缺点,一种新型机电一体化抽油机即电机换向抽油机应
开关磁阻电机调速系统是一种新型交流调速系统,有着结构简单、坚固可靠、起动转矩大、起动电流小等优点,同时具有转矩脉动大、噪声大的缺点。其理论研究还不完善,应用也还是起步
本文以国内某大型钢铁企业常规钢种废次品原因分析需求为背景,结合数据挖掘理论,深入研究了质量分析与优化系统的设计与实现。 针对工业生产的应用特点及现有质量分析应用系
纸币图像识别是一种目前应用很广的识别技术,特别是在银行业,纸币识别系统具有广阔的市场前景和发展空间.研究纸币识别系统的关键问题是设计出实时的硬件电路和高效率的识别