遮挡环境下多视角三维人体姿态估计研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:logan_lxh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
“以人为中心”的计算机视觉研究愈发成为人工智能领域的重要研究方向,其所面临的挑战首先在于要让计算机能够理解人。因此,准确地识别人体的姿态和动作是必要的条件。但由于视觉遮挡问题难以解决,人体姿态估计仍是非常具有挑战性的问题。本文以多视角为基本场景,重点从设备、数据和方法三个角度,开展遮挡环境下多视角三维人体姿态估计的研究。本文主要研究工作包括:(1)针对多相机系统构建与应用过程中面临的多相机时间不同步问题,提出一种基于二维人体关键点的多相机时间同步方法。为了衡量两个相机之间的时间不同步程度,本文提出使用跨视角特征点之间极线距离进行表征,并通过最小化该距离进行同步。使用图结构表示多相机系统,用最小生成树算法得到多相机系统的全局最优时间偏移配置,降低相机间的同步误差。在四种涵盖广泛应用场景的数据集上评估了多相机同步的精度,平均同步误差均小于一帧。(2)针对三维人体姿态数据集稀缺,且目前相关数据集均不提供人体关键点是否被遮挡的标注的问题,提出了一种基于三维人体姿态的数据合成方法,构建了具有丰富人体姿态、且包含遮挡情况的多视角合成数据集。为了丰富合成数据集中人体姿态的多样性,本文从网络视频中估计三维人体姿态,作为动作捕捉数据库的补充,以驱动虚拟人运动。在虚拟世界中使用物品对人体产生更多样的遮挡情况,通过对比关键点在三维场景和深度图中的深度差异,自动生成关键点是否被遮挡的标注。该数据集目前包含约六十万帧图像,被遮挡关键点占比超过20%。此外,通过改变场景中物品、人体和姿态等属性,可方便地生成更多数据。(3)针对稀疏多相机系统中三维人体姿态估计精度受到遮挡影响的问题,提出一种基于几何关系的多视角特征融合框架,使用可见视角中的特征增强被遮挡关键点的特征。具有相同语义的位置处的特征才能进行融合,特征融合方法需要解决的一个核心问题是判定不同视角上位置的相关关系,本文提出利用人体姿态估计热图的稀疏特性以有效解决该问题。为了避免优质特征在融合过程中退化,提出从外观和几何一致性两个角度,基于学习的方式为每个视角的检测结果赋予置信度权重,用于特征融合过程。在多个基准数据集取得最优性能。此外,特征融合模型在新场景下无需重新训练,能够有效地迁移使用。(4)为进一步扩展特征融合框架,提出了融合可穿戴惯性传感器IMU和多视角图像的特征融合框架。该方法的核心是通过相邻关键点的特征,提高对被遮挡关键点的检测性能。首先利用IMU对相邻关键点的特征进行相互增强,提高二维人体姿态检测率。然后使用图结构模型从多视角二维人体姿态估计三维人体姿态,提出一种基于IMU的人体结构先验,优化估计三维人体姿态。该特征融合方法在公开数据集上显著降低了三维人体姿态估计的误差,取得最优的结果。
其他文献
有机无机杂化钙钛矿材料因其优异的光物理性质,在钙钛矿太阳能电池(PSCs)、发光二极管(Pe LEDs)等光电转换器件领域有着广泛的应用前景。迄今为止,小面积PSCs的光电转换效率(PCE)已经超过25%,其值已经超过产业化CIGS太阳能电池(~23%),并且与单晶硅太阳能电池最高效率(~26%)相接近。Pe LEDs(绿光)的外量子效率(EQE)更是在近几年时间内飙升到28%。然而,有机无机杂化
学位
非均相催化剂在化学和制药工业等领域起着至关重要的作用,约90%的化工生产过程依赖于催化技术。而石墨烯的超高比表面积、卓越的电子迁移率和优异的热稳定性等特点使其成为高活性金属催化活性中心的强大载体。因此,通过深入研究催化效率和催化中心的构效关系,理解催化反应机理,开发系列过渡金属表面功能化石墨烯基非均相催化剂,对于促进其在精细化学品和医药中间体制备中的应用意义重大。本论文以目标有机反应为导向,设计、
学位
低碳烃分离是石油化工行业最为重要的过程之一,当前分离方法主要是低温精馏,这一技术存在能耗高的缺点。金属有机骨架材料(Metal-Organic Frameworks,MOFs)可以实现常温下的低碳烃吸附分离,是一种节能型吸附剂材料。目前,只有少部分MOF材料表现出优异的低碳烃吸附分离性能,亟需寻找合适的孔道表面改性方法,提高材料的吸附分离性能。此外,由于MOF材料种类多样,应当开展高通量筛选研究,
学位
电感电容(LC)无源无线传感器具有结构简单、无需电源、寿命长等优势,非常适用于狭小密闭空间、机械旋转结构和恶劣环境等。但是,受限于其机理,LC无源无线传感器在遥测距离、灵敏度和多参数敏感方面面临挑战。因此,探索新原理来解决这些问题有重要意义。宇称时间(Parity-Time,PT)对称性量子力学在1998年被提出,基于薛定谔方程和亥姆霍兹波动方程之间的数学同构,PT对称性已被推广到经典波动系统,并
学位
超材料,是由亚波长单元结构周期或非周期地排列而组成的人工电磁结构。超材料自问世以来,在信息科学领域发挥了重要的作用,广泛地应用于天线的设计当中。本论文结合不同超材料的特点,探索了他们在宽带天线上的应用,提供了新的设计思路,改善了传统天线的性能。本文的主要内容如下:(1)在传统宽带Fabry–Perot(F-P)谐振天线设计的基础上,使用超材料结构替换原先的介质材料,提升了天线的3-d B增益带宽和
学位
数学推理论证能力是数学领域最根本的,也是所有数学学习者都需要掌握的能力。从外部环境看,无论是中国、美国、澳大利亚及日本等国家地区,或是经济合作与发展组织、国际教育成就评价协会以及国际文凭组织等国际组织,长久以来无一不展现出对数学推理论证能力的关注。从学科教学方面看,作为传统数学学科能力的培养目标,学生存在相信经验论证、难以独立构造论证以及误解证明在数学中的作用等困难,而教师则面临对数学推理论证的认
学位
“坚持把马克思主义基本原理同中国具体实际相结合、同中华优秀传统文化相结合”是中国共产党一百多年来马克思主义中国化的重要经验总结。考察《关于若干历史问题的决议》可以发现,“两个结合”是在中国共产党领导人民长期坚持斗争精神,坚持实事求是,走群众路线,坚持独立自主的过程中形成的。在新的征程上,继续推进马克思主义中国化需要以史为鉴,为“两个结合”寻求动力源,探寻着力点,优化出场路径,提供现实支撑,从而实现
期刊
利用木质纤维素制备燃料乙醇对缓解全球能源危机具有重要意义。但木质纤维素的天然抗性结构限制了其高值转化利用。因此,需采取有效方法在提高其利用率的同时降低转化成本。本研究以小麦秸秆为原料,分别利用超声协同木聚糖酶预处理和离子液体协同球磨预处理工艺,在促进小麦秸秆酶解糖化的同时,克服了传统预处理过程存在的高能耗、重污染问题。通过底物表征、组分测定和酶蛋白跟踪等手段,从底物、酶解和酶等多个角度深入系统的探
学位
能源短缺是世界各国面临的重大难题,使用质子交换膜燃料电池等可再生能源系统代替传统化石能源发电系统是缓解该问题的有效途径。然而,目前在质子交换膜燃料电池的商业使用中最为广泛的电极催化剂材料为铂碳,但其在使用中存在成本高和长时间运行后的电极表面温度非均匀化严重的缺陷。因此,以降低催化剂成本和提高电极热稳定性为导向,设计并制备一种兼备非贵金属高效催化和高导热特性的电极,是目前研究中待解决的问题。在石墨烯
学位
数字多波束系统在雷达与卫星通信领域已有一些应用,目前正在成为第五代移动通信(5G)及未来6G通信的核心技术。本文围绕数字多波束阵列系统的研制与空口(OTA)测试方法开展研究,主要工作如下:绪论回顾了数字多波束技术在5G移动通信中的应用,并分析了国内外的研究现状,同时回顾总结了5G阵列OTA测试技术,最后介绍了论文的架构与研究内容。第一章介绍了全数字多波束阵列技术的基本原理,分析了在发射多波束情况下
学位