论文部分内容阅读
三维重建,在计算机视觉和计算机图形学领域中一直是研究的热点问题。人手作为人与外界进行信息交互的重要器官,三维人手重建在增强现实、虚拟现实和新式人机交互等应用中都占据着重要的位置。三维人手表示模型是三维人手重建的核心问题之一。传统的铰接式参数化模型表示能力有限,无法表示精细的人手或复杂的姿势。为此,本文设计了一个新颖的基于学习方法的非线性参数化三维人手模型HandVAE,并将其应用到单目RGB-D/RGB三维人手重建任务当中。本文的主要研究内容包括:(1)构造大规模的高质量三维人手网格数据集;(2)基于学习方法的三维人手模型HandVAE;(3)基于HandVAE的单目RGB-D/RGB三维人手重建模型。构造大规模的高质量三维人手网格数据集:为了减小模型的训练难度并提升模型的质量,我们基于公开的三维人手网格数据集MANO构造了一个大规模的、高质量的三维人手数据集。首先,在MANO数据集中选取参考网格,采用细分和重新网格化的几何处理方法提升它的质量。然后,用高质量化后的参考网格拟合MANO数据集中的其他网格。最后,采用插值的方法进行数据增强。我们构造的数据集可以看作是MANO数据集的一种扩展。基于学习方法的三维人手模型HandVAE:为了学习数据中本身包含的人手先验信息,我们采用VAE的框架来设计人手模型。同时,我们的新颖之处在于,采用了能更好地处理大尺度旋转形变的高维ACAP特征来表示三维人手。最终,我们的模型HandVAE学习了三维人手的潜空间表示,以及“特征-潜空间”和“潜空间-特征”的映射。HandVAE模型本身包含人手数据先验信息,生成的网格质量高,模型可微且计算效率高。在实验中,我们从三个方面的重建任务将它和传统人手模型MANO进行了比较,我们的模型表现更好。基于HandVAE的单目RGB-D/RGB三维人手重建模型:三维人手重建的内在基本思路,可以概括为两阶段:1.设计输入数据与模型模板的误差项,并计算它们之间的匹配误差。2.采用合适的算法,在模型空间中搜索误差最小的参数来重建人手。我们采用新设计的HandVAE模型代替传统模型,根据输入数据的不同形式分别设计了对应的神经网络框架来回归模型参数,并精心设计了损失函数来监督重建网格和输入数据,最终构造了一个单目RGB-D/RGB三维人手重建模型。在单目RGB-D人手重建实验中,我们的模型在公开数据集上取得了良好的效果。