人体三维运动姿态估计方法研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:whhdgcr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在对人类活动行为分析中,从图像或视频中精准地刻画出人体的三维运动姿态尤为关键,其能够为人类行为的感知和识别提供重要的研究基础,对促进人类智能系统(如:自动驾驶、人机交互、以及智能监控)的发展是至关重要的。三维人体运动姿态估计是近年来国内外的研究热点,其主要任务为从给定的二维图像或者视频中重构出人体的三维运动姿态。在三维人体运动姿态估计算法中,常用的两类策略为基于判别式的方法和基于产生式的方法。虽然两类策略均取得了一系列的进展,然而,面对着诸如单目视觉中的深度歧义、人体姿态的非刚性复杂形变以及图像观测空间中的杂乱场景等各类挑战,现有的人体三维姿态估计技术中仍然存在许多关键性的问题亟需解决。本文针对三维人体姿态估计中存在的具体问题,采用模式识别中的关键技术,如基于稀疏表达的几何建模、基于深度学习的特征捕获等开展了一系列的研究工作。本文的主要研究内容如下:(1)提出基于残差补偿的加权稀疏表达算法尽管稀疏表达模型能够有效地缓解三维人体姿态估计任务中因投影深度歧义性而引发的推理模糊问题,其仍然存在两种类型的估计误差(即:采用l1凸近似下的稀疏系数的解误差,二维投影空间近似推理下的三维空间残差)。针对这两类误差带来的影响,提出了两种施加在标准稀疏表达模型上的增强方案。首先,提出一种增强稀疏线性组合的加权方案以求得更为准确的稀疏系数解。其次,通过建立二维投影空间的源残差与三维空间的目标残差之间的一个变换关系,直接在三维空间中调整了初始估计的三维人体姿态以提高最终估计的精度。此外,还提出了累积误差最优化策略,该策略通过施加源残差到优化方程中以扩大均方误差的统计范围,缓解模型优化过程中随机扰动的影响。提出的两种增强策略的有效性已在若干个标准的基准数据库上进行了实验验证。标准稀疏模型经过所提方案的增强后在所有定量研究中均得到了提升。与无监督学习方法的对比,提出算法显示出了优越性能。即便是与基于监督学习方法,如:基于深度学习的算法相比,提出算法在采用更少的训练样本的情况下,依然展示出了有竞争力的估计结果。(2)提出基于多几何先验的形状分解算法稀疏表达模型具备捕捉人体姿态复杂变化的能力已在三维人体姿态估计任务中得到了体现。然而,大多数基于稀疏表达模型的算法(包括第一项工作)均基于训练样本足够多样的假设。遗憾的是,现有室内采集的训练数据的多样性和复杂性往往无法满足真实场景中的人类活动,导致大多数三维人体姿态估计算法难以泛化到真实复杂场景中。针对此问题,提出一种基于多几何先验的形状分解算法。该算法缓解了稀疏表达模型因训练集多样性不足而造成的算法性能下降问题。首先,提出了形状分解模型,将一个复杂的三维人体姿态描述为全局结构和姿态形变两部分。然后,对于这两部分的编码,分别引入两个不同的先验约束(即:l1和l2),以得到稀疏和稠密分布的两组不同组合系数解。其次,提出一种联合字典学习方法以从有限的训练数据中获得更丰富的三维几何先验。实验表明,提出的多几何先验的形状分解算法的有效性在几个公认的基准数据库上得到了验证。特别地,提出算法在那些包含更多复杂形变的姿态中显示出了更为显著的性能提升。(3)提出基于隐结构监督的联合子空间学习算法大多数三维人体姿态估计算法(包括前两项工作)均对人体姿态进行向量化表征,这样的向量表征方式导致了人体关节固有结构的丢失。针对此问题,提出了一种隐空间监督联合子空间学习方法。该算法利用深度神经网络技术对输入的姿态的向量化表征进行隐空间特征捕获,并将捕获到的特征融入到一个无需成对样本的稀疏表达优化框架中。具体地,首先,训练一个端到端自动编码器捕获输入二维姿态向量表征中的隐空间关系。然后,将二维姿态的向量表征及其隐空间表征联合地输入到稀疏表达模型的优化框架中,实现了以人体关节的隐空间关系为监督的三维人体姿态算法。该算法在二维姿态空间和隐空间上进行优化。在几个常用的基准数据库上进行了实验,实验结果表明提出策略是有效的。与最先进的基于稀疏表达模型的方法相比,提出算法在所有定量评估中表现出了优越的性能。在与几种代表性的基于监督学习的方法相比,提出算法在无需成对训练样本的场景下也获得了具有竞争力的估计结果。(4)提出基于k层穿透表达的对抗攻击算法第一项至第三项工作旨在针对各类实际问题设计出性能优越的人体三维运动姿态估计算法。在本项工作中,为了给更为稳健可靠的三维人体姿态估计方法的设计提供启示,探索了一类以人体运动姿态估计为典型应用的坐标回归模型的安全性和稳定性问题。针对具有不可微运算的坐标回归模型,提出了一种新的对抗样本生成方法。该方法的新颖之处在于一个无需要端到端反向传播的带有关系指导的k层穿透表征,通过关系引导扰动第k层的隐特征分布来改变一个训练好的坐标回归模型的最终输出。具体地,建立输入像素与模型第k层隐特征之间的三种相关性精确地选择一小部分对隐特征有显著影响的输入像素。在生成对抗样本的过程中,仅修改这些仔细选择的小部分像素,从而显著地减少对干净图像的对抗扰动。本项工作成功地将提出算法应用到两种不同的任务(即:二维和三维人体姿态估计)中。广泛的实验表明,提出的对抗攻击算法在使用较少对抗扰动的情况下实现了有效的攻击,更好地揭示了已有人体姿态估计系统中的安全薄弱点。本文对人体三维运动姿态估计任务进行了较为系统且深入的研究。本文第一项工作从稀疏表达模型入手,针对基于稀疏表达的人体三维姿态估计算法中存在的两类误差,分别提出了加权稀疏及残差补偿策略。第二项工作从人体姿态数据出发,针对训练样本种类不足导致的基于稀疏表达的三维姿态估计算法泛化性差问题,提出了多几何先验的形状分解模型。第三项工作从人体姿态的表征出发,针对向量化表征中的结构丢失问题,利用深度学习的隐结构特征捕获能力,对稀疏表达模型的优化过程进行增强,提出了基于隐结构监督的联合子空间学习算法。以上三项工作旨在针对不同问题设计出性能优越的人体三维姿态估计算法,未考虑算法的安全性问题。为了给更为稳健可靠的人体三维姿态估计方法的设计提供启示,第四项工作对人体三维姿态估计算法的安全性和稳定性进行系统性的研究,提出了基于k层穿透表达的对抗攻击算法。在人体姿态任务的标准基准数据库上,针对不同问题及相应解决方案设计了一系列的实验,大量的实验结果验证了本文各项工作的有效性。
其他文献
组织要不断提升竞争力并实现可持续发展,最为根本的方略就是持续提升高层领导者的战略领导力。战略领导力赋予组织“战略逻辑”,从根本上关注组织的全局整体、把握组织的方向路径、对组织的持续发展负责。责任型领导是战略领导力的重要分支。它最核心的特征是高层管理者在与组织利益相关者对话的过程中,积极协调不同利益相关者的利益诉求,以期实现一个有价值的共同愿景。CEO责任型领导研究具有重要现实意义。首先,CEO责任
学位
股权结构是公司治理问题的逻辑起点(Becht et al.,2003)。在我国股权集中、投资者保护相对较弱的制度背景下(Allen et al.,2005),大股东在公司治理中发挥着举足轻重的作用。近年来,新一轮国有企业混合所有制改革逐步推进,主要的方式包括“推进国有企业混合所有制改革”、“引入非国有资本参与国有企业改革”、“鼓励国有资本以多种方式入股非国有企业”。这意味着在未来一段时间内,“民营
学位
在台湾地区所实行的政治制度中,“选举”已经成为了民众政治生活的主要内容,尤其是其“总统”选举更是成为台湾地区政治、经济、社会、两岸等各方面走向的风向标。从1996年开始的“总统”选举中,本来弱势的民进党赢得了七次选举中的四次,也借此成为了当前台湾地区的第一大党。在历次“总统”选举中,民进党的竞选策略成为其“险中求胜”、“逆风翻盘”的主要支撑,也是其二十多年来由弱变强,多次执政的关键因素。因此,抓住
学位
强化学习算法是一类让智能体在与环境的交互中进行学习的算法,即让智能体学会如何将环境状态映射成自身的动作的方法,并使得环境反馈的回报信号的数值最大化。在引入深度学习后,强化学习算法的应用范围得到拓展且性能得以提升,但同时也带来一些问题。本文的主要工作分为三大部分,分别面向强化学习的三个关键的问题:(1)值函数近似误差对算法造成的负面影响;(2)强化学习算法需要依赖大量的采样;(3)强化学习算法的稳定
学位
近年来,空间光场调控在基础物理,经典物理及量子物理领域逐渐展露出其重要的应用价值,已经成为当前光学研究的前沿。在量子领域,空间模式与二维偏振相比具有高维纠缠的优越性,可以实现大容量的光通信并增强保密性,在高维量子领域具有重要的应用前景。实现高容量通信的基础是高维的量子通信资源,即空间模式的高维纠缠态。系统是否具备高维纠缠资源是实现高维量子通信及其他量子应用的关键。这产生了一个重要的科学问题:如何对
学位
多线激光雷达可以快速地提供大范围内的高精度点云数据,它为自动驾驶汽车对环境的感知提供了可靠的数据保障。车辆对周围环境和自身运动状态的正确感知是自动驾驶汽车自主决策的前提,其中,对自身运动的感知主要是判断自动驾驶汽车自身在当前环境中的位置和姿态,它为车辆的路径规划和运动控制等提供了决策依据。基于多线激光扫描点云的运动估计可以使自动驾驶汽车不依赖于卫星导航系统和惯性导航系统,从而减少天气或环境的干扰,
学位
当前海域活动越来越频繁,诸如海域生物、船舶、通信设备、探测设备等不明目标声源的信息交互已是暗涛汹涌,致使国家海洋边界安全态势更扑朔迷离。因此,研发水声信号辨识方法和平台,及时检测出不明目标的水声信号,对保障海域安全和保护海洋生物具有重要意义。时频变换算法提取的时频特征能区分不同水下目标的声信号之间差异,因此成为水声信号识别的关键研究点。当强海洋背景噪声干扰和水声信号调频分量具有快时变和紧邻甚至频点
学位
随着人们对健康的重视程度加大和医疗水平的提升,目前已得出防控慢性病的最佳公认结论:“保合理膳食,持良好生活”。然而,治疗费用高昂、周期漫长等因素造成临床康复效果较差,而大数据时代又带来健康数据量大、关系类型多以及解决方案复杂等问题,从而导致仅通过临床医学来快速减少因慢性病造成的死亡显然不现实。因此,辅助医疗多学科交叉运用数据挖掘(DM)、深度学习(DL)、知识图谱(KG)等成熟的应用技术来防控慢性
学位
高等职业技术教育是我国高等教育的主要组成部分,它在高等教育大众化乃至普及化发展进程中发挥着独特而重要的作用。改革开放以来,我国高等职业教育的快速发展为国家经济腾飞和社会进步培养了大批技术技能人才,做出巨大贡献;另一方面,在促进社会经济转型和产业升级进程中也面临着新的严峻挑战。在建设中国特色社会主义的新时代,深入探索高等教育大众化、普及化发展路径,构建和优化高职教育专业退出机制,对于培养高素质的专业
学位
从全球能源的需求以及温室气体和污染的加剧的角度出发,对新能源技术的需求得到了重视。几十年来,可再生能源(比如太阳能和风能)起到了重要作用,但是它们的间断性将会导致严重的供求不匹配。电化学能量系统在能源可持续性;能量转换、节约和储存;污染控制/监控;以及减少温室气体方面起到了关键作用。碱金属热电转换器是一种利用太阳能、核能或化石燃料燃烧产生的热量来发电的电化学装置,是一种极好的热电转化装置。本文主要
学位