随着信息化技术的快速发展,人们对视频数据的分析和处理能力提出了新的挑战。人体行为识别通过对视频序列进行分析,提取相关的行为特征并识别出人体的行为类别,其在智能监控、无人驾驶和人机交互等方面有着非常广泛的应用前景。随着传感器技术的快速发展,数据可以通过多种模态来表示,如RGB、骨架、深度、红外、点云、音频、雷达和无线网络信号等。不同模态的数据在不同的应用场景具有不同的优势,不同模态的数据之间具有互补性和潜在的语义关联性,多模态人体行为识别的研究逐渐成为新的研究热点,如何有效地分析和利用不同模态的数据进行人体行为识别,成为近年来研究者们关注的焦点。本文对多模态人体行为识别的研究主要从三个方面展开:单模态特征提取,多模态特征融合和跨模态特征对齐。具体贡献包括以下四个部分:1.在手工设计特征的特征提取方面,针对深度数据和人体骨架数据,分别提出了一种特征提取算法。对于深度数据,为了捕捉到更具辨别力的人体运动特征,提出了一种多级帧选择采样算法,通过提取关键帧得到多个时序层次的样本,再计算多个视图的运动历史图和静态历史图。对于骨架数据,为提取更具表达力的多尺度时空特征,提出了一种时空特征提取算法,同时提取空间姿态特征和多尺度时间位移特征。另外,还研究了不同模态数据特征的融合策略,分析了采用两种不同的融合方式对识别结果的影响。通过在两个公开数据集的实验分析,与现有的研究结果相比,提出算法的识别效果有显著的改进。2.在自动特征提取方面,针对特征提取存在的时空特征尺度单一的问题,提出了一种多尺度自适应加权的图卷积神经网络,用于骨架数据的人体行为识别。首先将人体骨架关节点划分为多个部分,提取多尺度空间特征,然后设计了一种图顶点融合策略,可以自适应地学习潜在图拓扑,同时引入了多通道注意力机制和双流结构。在三个大型数据集上进行实验分析,提出的算法能有效提升识别性能。3.在多模态特征融合方面,针对如何提取不同模态数据之间的潜在语义特征问题,提出了一种基于双线性池化和注意力机制的特征融合网络。首先对RGB数据和骨架数据分别进行数据预处理,增强数据表达力,再使用特征提取网络分别获取数据的行为特征。使用提出的双线性池化和注意力机制网络有效地融合RGB和骨架数据的特征,得到更具表达力的融合特征。最后通过多层感知器来获得最终的行为分类。在三个公共数据集上的实验验证了该算法的有效性。4.在跨模态特征对齐方面,为降低不同模态数据之间的分布差异,提出了一种基于特征对齐的跨模态人体行为识别算法。在核流形对齐算法的基础上,引入了源域与目标域之间的分布距离,设计了一种解决优化问题的有效算法。将源域和目标域数据映射到一个具有类内差异低、域间分布距离小、类间差异大的特征子空间中。通过在两个公共数据集上的实验结果表明,本文提出的特征对齐算法能有效提升跨模态人体行为识别性能。