基于深度相机的三维重建与运动捕捉

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:xiongying1207
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维重建一直是计算机视觉与图形学领域的热点研究问题之一,它的目的是如何有效地建立目标的三维模型。当今正处于虚拟现实(VR)与增强现实(AR)蓬勃发展的时代,而三维模型是这两者的基础,如何快速有效地创建三维模型是计算机研究工作者无法回避的问题。随着硬件捕捉系统和软件算法的不断提升,三维重建技术已经从最初的离线、非实时、静态重建发展成为在线、实时、动态、结合了语义信息的重建。在这一过程中,无人机的应用赋予了三维重建更多的可能性,它将三维重建的范围延伸到了更多未知的、危险的、人难以企及的区域,扩展了三维重建应用场景的同时又极大地提升了其应用价值。本文立足于三维重建,将该技术应用到静态场景三维重建以及动态人体运动捕捉中。主要工作如下:首先,借助单目深度相机进行静态场景重建。通过基于深度图融合的重建算法,将场景的三维模型用体素的方式来表达,在估计了当前帧相机的位姿之后,将当前帧的点云融合到体积模型中去,最终得到完整的场景结构。考虑无人机三维重建应具备大规模重建能力,本文还使用体素哈希法,该方法仅仅在物体的表面分配空间,通过哈希表组织空间结构,实现了空间的高度压缩,使大范围场景重建成为可能。其次,本文探讨了虚拟现实技术与三维重建新的结合点,以无人机作为两者沟通的桥梁,开发了一套基于头戴式显示设备的无人机远程呈现系统。该系统以三维重建为基础,目的是创建一种自然友好的人与无人机的交互方式,使得用户仅需借助一个VR头盔,就能够自由、自然地完成对无人机全部6个自由度的控制,得到高精度、高完整度的场景三维模型。本文同时搭建了虚拟的和真实的无人机远程呈现与三维重建平台,并且进行了用户体验调研,在主观评价和客观指标上均验证了本文提出的交互方式的有效性。最后,对于动态的人体运动捕捉,本文将体积动态重建与数据驱动的模板配准方法相结合,通过单深度相机重建人体的几何细节,捕捉非刚性运动以及内在的骨架形状。由此形成了一种对人体模型双层表示,外层是深度数据重建的表面点云,内层是人体的内嵌骨架数据,解决了一般单目深度运动捕捉算法中的遮挡问题。内层的骨架和外层的表面点云互相约束优化,使得运动跟踪更加鲁棒,在有挑战的场景下回环效果更好。
其他文献
聚合物驱是化学驱提高采收率技术中应用最广泛和最成熟的方法。随着石油资源的开发,油藏地质变得复杂,对驱油聚合物也提出了新要求。为了满足复杂的油藏条件,驱油聚合物逐渐
目的:探讨Wagner SL翻修柄治疗Vancouver B2及B3型股骨假体周围骨折的疗效及相关并发症发生情况。方法:回顾性分析2013年1月至2018年9月在新疆医科大学第一附属医院采用Wagner SL翻修柄翻修治疗的Vancouver B2及B3型股骨假体周围骨折病人共23例,其中Vancouver B2型股骨假体周围骨折的病人17例,Vancouver B3型病人6例。按照Paprosk
我国是人口大国,随着社会的进步与科技的发展,粮食的需求较以前成倍增长。目前精准种肥作业是保证粮食高产、稳产最重要的措施。为了使机具种肥作业信息化并达到高产高效的效
随着工业化的进程,重金属铅污染广泛分布于自然生态环境中,它们严重威胁环境安全和公共健康。如果长期生活在铅金属超标的环境中,会对人体神经系统、生长发育系统、心血管系
在自然图像中,阴影几乎是随处可见的。虽然阴影可以为我们提供物体位置和光照条件等信息,但同时也给许多图像处理任务带来了困难。为了降低阴影对图像处理的影响,使后续任务能够顺利进行,研究一种快速、有效的阴影去除算法就显得尤为重要。早期的阴影去除研究计算过程繁琐复杂且阴影去除效果均不理想。伴随着深度学习突飞猛进的发展,尤其是它在处理图像等海量数据时表现出的高性能和高效率,使得传统的阴影去除算法逐渐被深度学
聚集诱导发光(Aggregation-induced emission,AIE)现象的发现为解决传统发光材料“聚集导致发光猝灭(Aggregation-caused quenching,ACQ)”的重大科学问题指明了方向。迄今,具有A
碳纤维的发展是技术和成本的竞争,企业在不断追求技术成熟度的同时,也在不断的考量如何降低生产成本。质量成本的节降是生产成本降低有效方式之一。本文打破了传统的预氧化程
地下结构抗震是当今地震工程领域重要的研究方向之一,主要研究内容有:土体本构模型、波在土介质中的传播特性、人工边界条件、地震波输入方法以及地下结构抗震设计方法等。众所周知,自然界的土体大多是固-液饱和两相介质或固-液-气非饱和三相介质,地震中土体液相的存在会显著增大结构的地震响应,而目前对于地下结构抗震设计方法的研究大多基于土体为单相土颗粒介质,与实际工程不符。在此背景下,本文主要进行以下内容的研究
ε-己内酯用途广泛,主要用于生产聚己内酯(PCL),后者可合成可降解塑料。己内酯也可用于生产聚己内酯多元醇和己内酰胺,并可作为聚氨酯树脂等难溶树脂的溶剂。我国ε-己内酯市场
良好的中央和地方关系有利于经济社会的可持续发展,为构建现代化国家治理体系提供强有力的基石,而处理好中央和地方财政关系的核心是对中央和地方事权与支出责任进行科学合理的划分。1994年分税制改革并没有完全理顺中央和地方政府间的财政关系,事权和支出责任划分仍存在很多问题。2018年的“减税降费”使财政收入减少,事权与支出责任调整势在必行。本文根据可持续发展约束宏观税负水平[22.48%,33.3%),下