人体动作识别是计算机视觉领域的一个研究热点,具有广泛的应用领域,包括生物识别、智能监视和人机交互等领域。在基于视觉的人体动作识别中,主要输入的模态为RGB、深度图像和骨骼数据。每一种模态都能捕捉到某种信息,这种信息很可能与其他模态互补,例如,一些模态捕获全局信息,而其他模态捕获动作的局部细节。直观的说,将多种模态数据进行融合,可以提高识别准确率。此外,如何正确地建模和利用时空信息是人体动作识别面临的挑战之一。为了应对该挑战和充分利用不同模态的优势,本文将对多模态数据融合的人体动作识别方法进行研究,具体研究如下:传统的深度运动图(Depth Motion Maps,DMMs)损失了时间信息,传统的傅里叶时间金字塔(Fourier Temporal Pyramid,FTP)没有包含足够的空间信息,而且没有捕捉足够的运动细节。为了解决这个问题,本文提出一种基于深度运动图和傅里叶时间金字塔的人体动作识别算法,利用深度运动图很好的动作外观区分性和时间金字塔对时间建模的优势将整体人体动作过程中的时空信息互补。针对深度图像,利用局部二值模式(Local Binary Patterns,LBP)特征描述子提取特征。针对骨架序列,先提取利用节点间向量差的静态特征和动态特征,捕获更多的运动信息,然后提取FTP特征。最后利用支持向量机(Support Vector Machines,SVM)并且融合多模态数据进行人体动作的识别。在公开数据集的实验结果表明,该方法与现有的几种方法相比,取得更高的人体动作识别准确率。本文还提出了一种基于卷积神经网络(Convolutional Neural Networks,CNN)的融合深度和骨骼模态的人体动作识别框架。针对深度图像,为了解决了传统深度运动图损失时间信息的缺点,提出了一种自适应多尺度深度运动图(Adaptive Multiscale Depth Motion Maps,AM-DMMs)来捕获形状、运动线索。此外,自适应时间窗口确保AM-DMMs对运动速度变化具有鲁棒性。针对骨架序列,为了捕获骨架序列运动过程中的时空信息,提出了一种简洁有效的方法将每个骨架序列编码成三张包含时空信息的图,即稳定关节距离图(Stable Joint Distance Maps,SJDMs),每个图描述了节点间不同空间关系。最后,一个多通道的CNN用来从颜色编码后的AM-DMMs和SJDMs中提取有区分性的特征进行有效的人体动作识别。在公开数据集的实验结果表明,该方法与现有的几种方法相比,取得更高的人体动作识别准确率。