高精度三维人体重建及其在虚拟试衣中的应用

来源 :东华大学 | 被引量 : 2次 | 上传用户:wendell0919
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维人体和虚拟服装作为两种常见的三维模型,一直是计算机图形学和计算机视觉中重要的研究内容,已广泛应用于影视动画、三维游戏、服装设计、虚拟试衣、电子商务等领域。目前三维人体和服装建模仍主要依赖三维扫描或由具有专业知识的设计师利用建模软件手工设计,成本高、效率低,难以满足在线试衣等实时应用。虽然近年来有基于学习的方法可快速生成人体模型,但多关注于姿态估计,并未强调重建体型在人体测量学上的精度,而准确的三维人体往往是虚拟试衣、尺码推荐、服装设计等与服装相关应用的基础。本文旨在重建出高精度的三维人体模型并探索其在虚拟试衣方面的相关应用。为了量化评估重建出的三维人体模型在人体测量学上的精度,本文首先研究了适用于三维人体网格的分割算法,并在此基础上设计了一套完整准确的自动化三维人体关键点提取及特征尺寸测量方法。其次,本文从不同的角度分别提出了基于传统优化和图卷积神经网络的两种高精度非参数化三维人体重建方法。最后,本文在两种重建方法的基础上进行应用扩展,提出了一种可用于三维服装重定向的深度网络架构。具体来说,本文的主要研究内容和贡献包括:1)非刚性三维网格谱域分割。为了便于准确地提取出三维人体关键点,本文首先提出了在谱域中基于组合描述子的三维人体网格分割方法,设计了一种包含网格显著性的线性拉普拉斯算子,并融合了由显著性拉普拉斯谱计算的全局特征和局部特征以构建组合描述子,最后在谱域中通过谱聚类完成自动分割。在此过程中,本文设计了一种基于面的凹顶点过滤方法,在显著性判定中有效降低了噪声的影响,使得分割边界处于人体关节区域。此外,本文采用了一种自动判定分割数目的方法,且对于形状较为复杂的网格模型,也可交互式地确定多种合理的分割方式,提高了算法的实用性。与其它分割算法的定性和定量比较说明,本文方法对于包括人体在内的非刚性三维网格具有较好的分割效果,且对一定程度的噪声及拓扑变化鲁棒。在此基础上,本文也探索了该分割方法在骨骼提取及蒙皮方面的应用。2)三维人体关键点提取及特征尺寸测量。在人体分割的基础上,提出了一套完整的三维人体关键点自动检测及特征尺寸测量方法,为量化评估重建人体的精度提供了算法基础,且提取的关键点可作为后续重建算法的输入。利用分割后的三维人体,借助K-近邻、回归、骨骼提取、局部环切等多种技术和方法,直接从三维数据中提取关键点,并基于提取的关键点测量相关人体数据。依据本文方法,至少可以自动提取出22个关键点,其数量和质量均可满足服装领域多种测量要求。本文也与相关的人体测量方法进行了量化比较,不仅在多项测量尺寸上取得最优,测量精度亦满足GB/T23698-2009《三维扫描人体测量方法的一般要求》所规定的误差要求。此外,本文根据提取出的关键点进一步优化了三维人体的分割结果,分割边界可准确地位于提取到的关键点处,且边界也更为平滑。3)基于几何优化的结构一致性三维人体重建。本文利用传统的几何优化方法完成了非参数化高精度三维人体重建,所有重建模型不仅具有完全相同的拓扑结构,也具有真实的高频细节,且人体关键点具有相同的顶点索引。该方法在传统网格输入的基础上增加了稀疏关键点对应关系,其本质是利用数值优化方法,借助稀疏对应关系作为“硬约束”,通过设计良好的迭代方式、目标函数及相关参数,将模板人体准确地变形为目标人体。该方法对输入的目标人体不做过多要求,目标人体可以具有边界和孔洞,甚至可以是非二维流形,从而最大限度地保证了算法的适用性。4)基于人体测量图卷积网络的三维人体重建。本文也设计了一种非参数化人体测量图卷积神经网络,不依赖于任何参数化人体模型,只需输入人体掩码图像及少量的人体测量尺寸,即可显式地预测出三维人体顶点坐标。实验证明,通过将人体测量参数显式地融入本文的网络架构并辅以相应的损失函数,极大地提高了重建结果在人体测量学上的精度,也使得重建过程更加可控。通过对人体测量图卷积网络进行扩展,也可用回归某一参数空间的方式完成参数化重建。与其它基于深度学习的人体重建方法相比,本文方法在重建精度上有了大幅提升。此外,该方法也具备从单张图片重建完整三维人体的能力。在此基础上,我们也探索了本文方法在基于人体测量的体型设计方面的应用,可用少量的测量尺寸生成对应的人体模型。5)用于着装的三维服装重定向网络。虚拟试衣是三维人体的重要应用之一,如何高效地将虚拟服装穿在多样化的三维人体上并展示具有真实感的服装效果一直是虚拟试衣的研究热点。在前述两种人体重建方法的基础上,本文首先设计了一种基于几何优化的服装重定向方法,并以此生成了部分训练数据。其次,本文提出了一个用于服装重定向的双分支图卷积网络。该网络以人体掩码、测量尺寸和包含服装褶皱的手绘草图作为输入,采用联合训练的方式直接重建出无穿透的着装人体,且人体与服装均以独立网格模型表示。通过在基于物理仿真的数据上进行学习,该网络可以生成具有真实感的服装细节。相比于传统方法,算法效率极大提升,可满足实时应用场景。与其它相关算法相比,不仅生成的服装具有丰富且真实的褶皱效果,精度亦有较大提升。
其他文献
全人关顾不只是一种思想,更是一种态度和行为,就是一言一行都表现出关怀人的多方面需求[1].
【正】12月17日,省人大财经委、省人大法制委、省人大常委会法工委、省政府法制办、省财政厅在南昌联合召开《江西省政府非税收入管理条例》宣传贯彻电视电活会。省人大常委
考察了三乙醇胺、乙酸钠、硬脂酸、木质素磺酸钠等助磨剂对凝胶渗透色谱法(GPC)和紫外-可见分光光度法(UV)测定聚羧酸减水剂(PCE)吸附量的干扰问题。结果表明,用GPC法测定PCE
随着世界经济与人民收入水平的增长,居民对人居环境舒适性的要求提高,室内温湿度是影响人体舒适度的重要参数,空调系统可以将室内温湿度维持在人体适宜的范围。常规空调系统
【正】赣府字[2014]33号2014年5月26日各市、县(区)人民政府,省政府各部门:根据我省政府参事任职年龄的规定,经研究决定,徐雨生同志不再担任省人民政府参事。(此件主动公开)
目的探讨神经内科患者家属疾病不确定感的相关因素并提出相应护理对策。方法选取神经内科患者家属327名,通过问卷调查的方式对其疾病不确定感以及应对方式进行调查,分析调查
飞机间导航组件研发生产于上世纪末。随着使用年限的推移,逐渐暴露出信噪比劣化程度加重以及内部芯片老化损坏等问题,在多雨的南方以及寒冷的北方,也容易产生灵敏度下降等情
欧布拉格铜-金矿床位于内蒙古西部阿拉善地区,是一处远景具大型规模的铜-金矿床。矿床赋存于二叠系下统火山岩和次火山岩中,容矿岩石主要为石英斑岩和英安质熔结火山角砾岩、
目的:探讨核苷酸结合性寡聚区蛋白样受体(NLR)P3炎症复合体在酒精性肝病(ALD)发病中的作用。方法本研究获得酒精性肝炎(AH)12例、酒精性肝硬化(ALC)4例和健康人(HC)12例肝组织,采用RT-PCR
各市、县(区)人民政府,省政府各部门:省人力资源和社会保障厅、省财政厅、省公安消防总队《江西省合同制消防员招聘管理暂行办法》已经省政府同意,现转发给你们,请认真贯彻执行。