人体姿态估计是计算机视觉的一个重要研究方向,在智能家居、智能监控、运动医疗、人机交互、虚拟现实等领域具有广泛的应用前景。由于人体动作的自遮挡,导致单一视角拍摄的视频无法实现动作的精确识别。因此,研究多视角下的视觉信息融合,获取更精确的三维人体姿态,解决自遮挡问题,具有重要的科学意义和应用价值。当前,基于传感器网络的人体行为感知是解决单视角人体自遮挡的有效手段。特别是微软推出的RGBD三维相机Kinect,可直接获取场景深度信息,提取人体关节点的三维坐标,有利于实现多角度的信息融合。但是,当前基于RGBD三维摄像机网络的多视人体姿态估计尚存在以下挑战和问题:1)由于网络带宽的限制,使得网络节点之间实时传输原始海量数据具有较大挑战。2)缺乏带标定的摄像机网络数据集,给多视角信息融合算法的评估带来了困难。3)受限于关节点提取算法的鲁棒性,不同视角下关节点提取位置有较大差异,给多视角关节数据融合带来了新的挑战。针对这些问题,本文构建了分布式摄像机网络。通过采用人体关节点信息融合降低网络负载,而不是多视角三维点云重构。采集带标定的多视角人体行为数据集为人体关节点估计和多视角信息融合提供支持。在摄像机网络下,采用分布式融合算法和交互多模型使得融合后的关节点更准确更易于识别。本文具体研究内容和创新之处包括:1、采用4个Kinect V2、Nvidia Jetson TX2嵌入式AI计算设备构建一个小型的分布式深度摄像机网络。摄像机网络结合人体关节点估计方法、分布式滤波算法在ROS(Robot Operating System)环境下构建了分布式人体关节点估计系统。该系统比目前集中式人体关节点估计系统扩展性强、容错性高。与目前商用光学式人体运动捕捉系统相比,成本低、操作方便、无需佩戴额外标志物,非常适用日常生活环境人的行为识别方向。针对缺乏带标定的多视角人体行为数据集问题,在该网络环境下仿照MSRAction3D采集了 DATASET SET、DATASET OP数据集。这两个数据集包含的人体行为包含日常活动,可以为人体关节点提取、多视角信息融合提供有力支撑,为在线行为识别打下基础。2、针对Kinect SDK提取人体关节点无法识别人体正反面问题,提出了一种以Openpose获取的二维关节点和深度图为基础,结合多点共圆法估计三维关节点的方法。该方法用二维姿态估计加上深度信息,解决了人体关节点无法识别人体正反面的问题。参考Vicon运动捕捉系统获取人体关节点的思路,用多点共圆法优化三维人体关节点。为了解决Openpose获取二维关节点置信度在三维关节点无法适用,以及Kinect SDK提供的三维关节点置信度不准确的问题,提出了用身体平面的方位角衡量整体关节置信度、用关节之间的遮挡关系进一步优化局部关节置信度的方法。该方法在自建的两个数据集上使用,能有效减轻错误的关节点置信度对数据融合的影响,便于数据融合后获取更准确的人体关节点。3、针对单视角遮挡、自遮挡问题以及人体关节点运动并非单一的匀速运动模型,采用了一种分布式一致性算法结合交互多模型的多视角信息融合方法。人体关节点在运动时,通过匀速、匀加速等一些运动模型间不断切换来拟合关节点运动,解决均速运动模型无法描述人体运动的随机性、机动性的问题。通过分布式融合算法融合多视角数据,解决单视角的遮挡问题。此外,分布式融合算法还可以解决集中式融合算法容错低、扩展弱的问题。交互多模型和分布式融合算法结合,可以为人体行为识别提供更精确更易于识别的人体关节点。本文构建的人体关节点估计系统,将摄像机网络、人体姿态估计和分布式信息融合紧密的结合,在具备低成本、高容错、可扩展、无标记性能的同时,提供精确、易于识别的三维人体关节点。该分布式系统,对解决了单视角遮挡、提升多视角信息融合效果、提高人体行为识别率,具有较好的实用价值和科学意义。