基于RGB的单模态人体动作识别已经有了许多研究成果,但由于容易受到视角变化、光照变化和背景变化等因素的影响,其发展和应用受到了一定的制约。为了减少这些因素的干扰,基于多视角、多模态以及跨域的人体动作识别研究成为热点。基于该发展趋势,本文的研究工作包括了以下三个部分:1)提出了基于RGBD的协同稀疏表达人体动作识别算法;2)分析评价了跨域学习算法在开放域动作识别数据集上的性能;3)设计开发了一套基于视频的实时动作识别系统。具体工作为:1)提出了基于RGBD的协同稀疏表达人体动作识别算法。为了在人体动作识别中同时利用视频的RGB特征和深度特征,并自适应的融合这些多模态特征,因此,提出了基于RGBD的协同稀疏表达人体动作识别算法。首先,对RGB视频序列提取稠密轨迹特征,并使用词袋模型对特征点进行编码,同时,对深度视频序列提取卷积神经网络特征,使用时间模型提取动作的时序信息并使用主成分析法对深度特征向量进行降维,然后,将多模态特征融合和它们的重建统一到同一个目标函数中,并控制不同模态特征重建稀疏系数的差异性,从而自适应地融合不同模态的特征。通过在多个公共数据集DHA、M2I和Northwestern-UCLA上的实验结果表明:该算法模型在多模态动作识别上具有较好的实验性能。2)分析评价了跨域学习算法在开放域动作识别数据集上的性能。由于跨域学习算法通过源域的训练样本来平衡目标域中的训练样本,能够提高模型的泛化性能。因此,本章将讨论跨域学习算法在开放域动作数据集上的动作识别性能,同时,在不同的源域和目标域条件下,评价六种不同的跨域学习算法的性能。实验结果表明:基于跨域学习的动作识别算法在开放域数据集上取得了较好的性能,它具有一定的优越性和鲁棒性,此外,当源域和目标域不同时,跨域学习算法性能也不相同。3)设计开发了一套基于视频的实时动作识别系统。为了将人体动作识别算法融入到实际应用中,依据计算机视觉和模式识别的基本理论,使用面向对象的编程思想设计开发了一套基于视频的实时动作识别系统,主要目的是精确、实时地识别出待检测视频中人体的动作。在系统设计和开发中,采用的人体动作识别算法有稠密轨迹特征提取、特征编码和SVM分类,同时,为了提高识别效率,引入了视频窗口概念和多线程技术。通过在KTH数据集上对系统测试的结果表明,该系统能够实时、精确地检测出视频中人体的动作。