论文部分内容阅读
三维重建作为计算机视觉领域的热门研究方向,已广泛应用于自动驾驶、数字考古、医学三维成像等领域。大熊猫作为我国国家一级保护动物,通过大熊猫三维重建,可以真实、完整地反映出大熊猫的空间形态结构,将大熊猫模型以最直观的形式传播与展示;利用大熊猫三维重建可将大熊猫体尺测量方式由传统的接触式改为非接触式体尺测量,这在降低成本、节约资源的同时大大提高了效率;对通过大熊猫三维重建获取的体尺数据进行分析,可以及时了解大熊猫健康状态,为大熊猫的生长、繁育提供更好的保护。由于大熊猫属于非刚性物体,具有易形变的特性,这导致大熊猫三维重建难度很大,加之相关研究数据难以获得,故国内外对大熊猫的三维重建的研究还是一个空白领域。尽管动物的三维重建目前还处于起步阶段,基于Skinned Multi-Animal Linear Model(SMAL)模型的三维重建技术已是国际上完成四足动物三维重建的主流方法,具有三维重建精度高、效果好、重建过程简单等特点。故本文通过对SMAL模型的分析,将SMAL模型运用于大熊猫三维重建研究,取得了较好的大熊猫三维重建效果。本文的主要研究内容分为三部分:(1)大熊猫SMAL模型研究:SMAL模型是以动物骨骼关节建模为基础的参数化动物模型。我们通过分析大熊猫骨骼结构与SMAL模型中的四足动物的不同之处,结合大熊猫骨骼结构特点构建大熊猫SMAL模型。更进一步采用了主成分分析估计大熊猫SMAL模型的形状基,通过骨骼运动表示获取大熊猫SMAL模型中的姿态基,从而实现了大熊猫SMAL模型参数化表达。最后通过形状参数、姿态参数来控制大熊猫三维模型形变的实验,验证了参数化的大熊猫SMAL模型实现大熊猫三维重建的可行性。(2)基于图像的大熊猫三维重建算法研究:设计一种能量优化算法,通过大熊猫二维图像与大熊猫SMAL模型进行拟合,实现大熊猫三维模型的恢复。本文从输入的二维图像中手动提取大熊猫轮廓分割图和关键点;通过构建目标能量函数并对其最小化,使得大熊猫SMAL模型能够尽可能拟合图像,从而估计出大熊猫SMAL模型的形状、姿态等参数,最终实现大熊猫三维重建。(3)基于深度学习的大熊猫三维重建算法研究:提出一种基于注意力机制的残差网络模型用于图像特征提取,整个网络模型直接从二维图像对大熊猫SMAL模型中形状参数和姿态参数等进行估计与预测,进而实现大熊猫三维重建,无需进行图像分割与手动选取关键点。实验结果表明,相较于手动提取图像关键点的非线性优化拟合算法,本算法能在保证大熊猫三维重建精度的情况下,实现自动化提取大熊猫SMAL模型的相关参数。与不使用注意力机制的网络模型进行比较,本算法能有效提高大熊猫三维重建的精确度,同时我们还利用重构的大熊猫三维模型完成了大熊猫模型的体尺测量实验。