论文部分内容阅读
在实际的应用场景中,工作进度估计对于提高工人的工作效率、有效防止信息传递的延迟以及实时管理工人的工作进度等方面具有重要的意义。假设将一套工作以动作为单位进行分割,则一套工作将由多个动作组成。本论文将管理工人工作进度的这一问题建模为一个动作识别问题,通过分析工人的动作,以实现工作进度的实时估计。由于动作执行者的随意性、复杂背景环境等因素的存在,动作识别研究具有巨大的困难与挑战。目前动作识别的研究大都基于具有一定量级或者大量级别的数据集进行研究,缺乏基于小样本的动作识别研究。考虑到在很多应用领域当中,由于采集条件不允许、采集成本高等原因,难以获取大量的学习数据。因此,基于小样本下的动作识别研究具有重要的意义。针对上文提到的一系列问题,本文提出小样本下基于RGBD数据进行多特征融合的动作识别模型,以实时地管理工人的工作进度。主要研究内容如下:(1)数据的采集及其预处理:模拟工人的工作环境,采用两个Kinect对工人的工作过程进行录制,完成RGBD数据的采集。基于采集的RGBD数据,完成数据的解析、标定等工作,为后面的研究做好相关的准备工作。(2)基于RGBD数据的多模态动作表示:基于采集到的RGBD数据,分别对骨架点数据、二值图像数据和RGB图像数据进行特征提取。对于骨架点数据,提取关节点之间的相对角度,获取骨架点数据的静态姿态表示。此外,引入头部、手部等速度向量,提取速度向量与关节向量之间的角度信息,获取骨架点数据的动态姿态表示;对于二值图像数据,通过计算剪影宽度信息以及通过检测剪影的6个关键点,并构造这些关键点之间的相对角度,以获取剪影的形状信息,充分地完成二值图像的人体姿态表示;对于RGB图像数据,采用三维卷积神经网络(3-Dimensional Convolutional Networks,C3D)、时间分割网络(Temporal Segment Networks,TSN)、OpenPose等技术,以建模动作的时间信息,最后完成RGB图像的人体姿态表示。(3)基于骨架点数据、二值图像数据和RGB图像数据分别进行单模态融合的人体动作识别:基于上文得到的RGBD数据的多模态动作表示,分别设计相应的单模态融合算法,以进行相应的动作识别。(4)基于RGBD数据多特征融合的工作进度估计:基于上文RGBD数据多模态动作表示以及单模态融合,进行多模态融合算法的设计,以进行人体动作识别,实时的输出工作进度,便于管理工人的工作进度。