论文部分内容阅读
三维人体和虚拟服装作为两种常见的三维模型,一直是计算机图形学和计算机视觉中重要的研究内容,已广泛应用于影视动画、三维游戏、服装设计、虚拟试衣、电子商务等领域。目前三维人体和服装建模仍主要依赖三维扫描或由具有专业知识的设计师利用建模软件手工设计,成本高、效率低,难以满足在线试衣等实时应用。虽然近年来有基于学习的方法可快速生成人体模型,但多关注于姿态估计,并未强调重建体型在人体测量学上的精度,而准确的三维人体往往是虚拟试衣、尺码推荐、服装设计等与服装相关应用的基础。本文旨在重建出高精度的三维人体模型并探索其在虚拟试衣方面的相关应用。为了量化评估重建出的三维人体模型在人体测量学上的精度,本文首先研究了适用于三维人体网格的分割算法,并在此基础上设计了一套完整准确的自动化三维人体关键点提取及特征尺寸测量方法。其次,本文从不同的角度分别提出了基于传统优化和图卷积神经网络的两种高精度非参数化三维人体重建方法。最后,本文在两种重建方法的基础上进行应用扩展,提出了一种可用于三维服装重定向的深度网络架构。具体来说,本文的主要研究内容和贡献包括:1)非刚性三维网格谱域分割。为了便于准确地提取出三维人体关键点,本文首先提出了在谱域中基于组合描述子的三维人体网格分割方法,设计了一种包含网格显著性的线性拉普拉斯算子,并融合了由显著性拉普拉斯谱计算的全局特征和局部特征以构建组合描述子,最后在谱域中通过谱聚类完成自动分割。在此过程中,本文设计了一种基于面的凹顶点过滤方法,在显著性判定中有效降低了噪声的影响,使得分割边界处于人体关节区域。此外,本文采用了一种自动判定分割数目的方法,且对于形状较为复杂的网格模型,也可交互式地确定多种合理的分割方式,提高了算法的实用性。与其它分割算法的定性和定量比较说明,本文方法对于包括人体在内的非刚性三维网格具有较好的分割效果,且对一定程度的噪声及拓扑变化鲁棒。在此基础上,本文也探索了该分割方法在骨骼提取及蒙皮方面的应用。2)三维人体关键点提取及特征尺寸测量。在人体分割的基础上,提出了一套完整的三维人体关键点自动检测及特征尺寸测量方法,为量化评估重建人体的精度提供了算法基础,且提取的关键点可作为后续重建算法的输入。利用分割后的三维人体,借助K-近邻、回归、骨骼提取、局部环切等多种技术和方法,直接从三维数据中提取关键点,并基于提取的关键点测量相关人体数据。依据本文方法,至少可以自动提取出22个关键点,其数量和质量均可满足服装领域多种测量要求。本文也与相关的人体测量方法进行了量化比较,不仅在多项测量尺寸上取得最优,测量精度亦满足GB/T23698-2009《三维扫描人体测量方法的一般要求》所规定的误差要求。此外,本文根据提取出的关键点进一步优化了三维人体的分割结果,分割边界可准确地位于提取到的关键点处,且边界也更为平滑。3)基于几何优化的结构一致性三维人体重建。本文利用传统的几何优化方法完成了非参数化高精度三维人体重建,所有重建模型不仅具有完全相同的拓扑结构,也具有真实的高频细节,且人体关键点具有相同的顶点索引。该方法在传统网格输入的基础上增加了稀疏关键点对应关系,其本质是利用数值优化方法,借助稀疏对应关系作为“硬约束”,通过设计良好的迭代方式、目标函数及相关参数,将模板人体准确地变形为目标人体。该方法对输入的目标人体不做过多要求,目标人体可以具有边界和孔洞,甚至可以是非二维流形,从而最大限度地保证了算法的适用性。4)基于人体测量图卷积网络的三维人体重建。本文也设计了一种非参数化人体测量图卷积神经网络,不依赖于任何参数化人体模型,只需输入人体掩码图像及少量的人体测量尺寸,即可显式地预测出三维人体顶点坐标。实验证明,通过将人体测量参数显式地融入本文的网络架构并辅以相应的损失函数,极大地提高了重建结果在人体测量学上的精度,也使得重建过程更加可控。通过对人体测量图卷积网络进行扩展,也可用回归某一参数空间的方式完成参数化重建。与其它基于深度学习的人体重建方法相比,本文方法在重建精度上有了大幅提升。此外,该方法也具备从单张图片重建完整三维人体的能力。在此基础上,我们也探索了本文方法在基于人体测量的体型设计方面的应用,可用少量的测量尺寸生成对应的人体模型。5)用于着装的三维服装重定向网络。虚拟试衣是三维人体的重要应用之一,如何高效地将虚拟服装穿在多样化的三维人体上并展示具有真实感的服装效果一直是虚拟试衣的研究热点。在前述两种人体重建方法的基础上,本文首先设计了一种基于几何优化的服装重定向方法,并以此生成了部分训练数据。其次,本文提出了一个用于服装重定向的双分支图卷积网络。该网络以人体掩码、测量尺寸和包含服装褶皱的手绘草图作为输入,采用联合训练的方式直接重建出无穿透的着装人体,且人体与服装均以独立网格模型表示。通过在基于物理仿真的数据上进行学习,该网络可以生成具有真实感的服装细节。相比于传统方法,算法效率极大提升,可满足实时应用场景。与其它相关算法相比,不仅生成的服装具有丰富且真实的褶皱效果,精度亦有较大提升。