论文部分内容阅读
基于视频的三维人体模型姿态与形状重构是指从人运动的视频中提取有效的姿态与形状信息,并利用这些信息,构建出与视频人物有相似姿态与形状的三维人体模型的运动序列。这种技术对于三维人体建模、模型编辑、游戏制作等都有着重要意义。相对于借助专用设备或多目视频图像的方法,现有的基于视频的三维人体模型姿态与形状重构的方法其缺陷在于:其一,由于深度信息的缺失容易导致姿态翻转;其二,重构得到的三维模型形状不准确,且容易出现肢体间相互穿透交叉的问题;其三,难于处理头部细节姿态。此外,视频数据量大,场景复杂多变,三维人体形状的处理也是一个大的挑战。本文提出了一个基于视频连贯性、视频帧人物脸部特征与轮廓自动化提取的三维人体模型姿态与形状重构方法。首先,利用视频中帧与帧之间的连贯性来约束对应的三维人体模型姿态间的差异,以解决由于深度信息缺失导致的姿态翻转问题。其次,提取视频帧中人物的脸部特征点,利用这些特征点来约束三维人体模型中头部的姿态,以此在保证模型姿态与视频人物相似的前提下,调整三维人体模型的头部姿态,使重构的结果更合理。接下来,利用视频帧中提取的二维关节点构建疑似前景和前景区域并驱动GrabCut分割算法自动地分割出每一帧中人体的区域,提取出其中的轮廓线。通过迭代的方法将上述提取的轮廓线约束三维人体模型的形状以调整其形状大小,使其形状与视频帧中的人物更加相近。最后,实现了一个基于视频的三维人体姿态与形状重构系统,对本文提出的重构方法进行了验证。系统能够从输入的视频中自动地提取二维关节点,脸部特征点以及二维轮廓线等信息,并重构出与视频中人物有相似姿态与形状的三维人体模型。相对于其他借助于可穿戴式设备或者多目图像或视频的方法,本文所提出的方法适应于各种普通视频。此外,本文将提出的方法与现有的两种重构算法作了对比,大量实验结果表明,本文方法在姿态和形状重构方面均具有较高的准确性,且能准确地重构出模型头部姿态并有效地避免姿态翻转的问题。