多视角三维人体骨架重建是一种利用多视角图像/视频实现三维人体建模的重要手段,广泛应用于影视动画、电子游戏、运动分析、医疗康复和互动娱乐等领域,长期以来一直都是计算机视觉领域的研究热点之一。多视角三维人体骨架主要包括基于标记的光学动作捕捉技术和纯视觉的多视角3D人体姿态估计两种实现方式。近年来,尽管针对这两种方式的研究取得了重要进展,但依然面临许多挑战。基于标记的光学动作捕捉技术在多视角特征点匹配过程中非常容易出现漏匹配和误匹配现象,此外非刚体内部结构的不稳定性和长间隔缺失骨架节点为三维人体骨架识别造成了很大困难。纯视觉多视角3D人体姿态估计在多视角信息融合过程中面临冗余信息的干扰,缺乏多视图有效信息融合的相关研究。针对上述挑战,本文从多相机标定、人体稀疏重建、连续帧三维人体骨架识别、三维人体骨架缺失骨架节点修复和多视图特征融合这几个方面展开研究,利用基于标记的光学动作捕捉技术提出了一套完整的重建三维人体骨架的算法和模型,为多视角3D人体姿态估计研制了一种实现多视图有效特征融合的注意力机制,取得的主要研究成果展示如下:第一,针对多相机标定主要受外部参数初值和光束平差法的目标函数影响,提出了一种基于权重约束的多相机标定方法。首先,提出了一种基于参照点的多相机外部参数初值计算算法,该算法以L型框架上四个标记作为参照点来构造世界坐标系,为了准确地定位参照点在相机坐标系下的位置,构建了多个权重非线性约束组成的目标函数,并采用LM算法对其优化,随后通过模拟平移旋转世界坐标系使其与相机坐标系重合的过程,计算多相机外部参数初值。其次,为了进一步增强了光束平差法优化多相机参数的效果,赋予其目标函数的重投影约束和杆长重建约束以相应权重,并采用稀疏LM算法实现快速收敛,动态杆长测量结果表明其误差较不使用权重下降了24%。静态杆长测量结果表明其误差低至亚毫米级,优于多种先进的多相机标定方法。人体稀疏重建测试结果表明其标定效果优于商用动作捕捉分析软件Cortex。第二,为了重建三维人体骨架节点,提出了一种基于循环投票法的人体稀疏重建方法。针对多视角特征点匹配过程中常见的漏匹配和错匹配问题,提出了一种“粗匹配→精细化匹配”的两阶段匹配方法。首先,为了确定各个视角的二维观察点相互之间的潜在匹配关系,基于双极线约束构造了一个匹配字典。其次,在精细匹配阶段,提出了一种循环投票机制,通过全局投票减少漏匹配点,通过组内投票剔除误配点,针对双极线约束的缺陷,采用RANSAC算法筛除匹配组内的重建异常点。在利用匹配组计算稀疏点三维坐标时,进一步构造了几何误差代价函数,优化了匹配组中点的位置。实验结果表明,所提出的人体稀疏重建方法获得了比多种先进的NRSFM方法更好的位置精度,与商用动作捕捉分析软件Cortex相比较,在不增加误匹配的前提下降低了4倍的漏匹配。第三,为了从连续帧的散乱稀疏点集中识别三维人体骨架结构,提出了一种结合模板匹配和特征点跟踪的识别方法,以及一种融合骨骼长度约束的基于Long Short-Term Memory（LSTM）网络的人体骨架缺失点修复模型。针对三维人体骨架的非刚体特性,为模板边设置了可伸缩范围,提出了一种基于模板匹配的单帧人体骨架整体识别算法,首先构造模板边和模板点的候选匹配字典,随后逐边逐点地识别三维人体骨架模板。为了提高连续帧的三维人体骨架识别效率,将连续帧的三维人体骨架识别问题转换为前后帧实时点的跟踪问题,并提出了一种结合卡尔曼滤波和整体识别方法的跟踪方法,该方法在多种类型的人体运动序列上的平均识别准确率高达91.7%。针对三维人体骨架运动序列的长间隔缺失点修复问题,采用LSTM网络建模三维人体骨架运动序列的时空关系,设计了一种融合骨骼长度约束的损失函数,将长间隔缺失点修复误差减少了37.5%。此外,基于TCN和ODE-RNNs等时空关系建模方法的测试结果进一步验证了融合骨骼长度约束的有效性。第四,为了学习紧凑的3D人体姿态表征,提出了一种基于MVP-att的多视角3D人体姿态估计模型。针对多视角有效信息融合这一挑战,提出了一种名为MVP-att的多视角注意力机制,它赋予多视角3D人体姿态估计模型自动融合多视图有效深度特征的能力。MVP-att模块利用通道注意力机制学习多视图深度特征通道之间的相关性,随后通过学习不同通道特征图的空间相关性,为每个通道特征图的像素学习注意力权重,生成权重深度特征,并将其聚合成统一的3D人体姿态表征。MVP-att模块可以灵活地嵌入端到端学习的3D人体姿态估计模型,能够取得比1×1卷积层更好的特征融合效果,同时参数量减少了76%。在多个大型公开数据集上的实验结果表明基于MVP-att的多视角3D人体姿态估计模型优于近年来的许多先进方法。