人体行为识别是人工智能领域的研究热点之一,在视频监控系统、体感游戏、自动驾驶、运动分析等领域有着重要的研究意义。论文从人体运动特征表示和模态融合等方面对人体行为识别做了深入研究。在提出多种新的运动特征表示方式的基础上,将单一模态下的行为识别扩展到多模态,并在模态融合等方面做了新的尝试。论文内容主要包括以下两个方面:（一）设计了一种基于深度时空图和多聚点子空间学习的行为识别方法。行为识别研究中被广泛使用的深度运动图通过对深度特征序列提取全局信息来提高识别率,但该特征图存在时序信息缺失等问题,针对该问题,本文提出了一种新的深度图序列表示方式,即深度时空图（Depth Space Time Maps,DSTM）。DSTM是将深度图序列进行三维投影,获取到三张2D图的行为数据分布情况,最后拼接形成DSTM,该深度图序列表示方式降低了特征图的冗余度,弥补了深度时空图时序信息缺失的不足。为了融合空间信息占优的深度运动图与时序信息占优的深度时空图,本文提出了一种名为多聚点子空间学习（MultiCenter Subspace Learning,MCSL）的多模态数据融合算法。该算法构建了一个公共子空间,并在该空间内为各类别数据构建了多个投影聚点,以此增大了样本的类间距离,降低了投影目标区域维度。（二）设计了一种深度特征与骨骼特征的多模态融合的人体行为识别方法。借鉴DMM和DSTM的特性,提出了一种深度信息熵图（Depth Sequential Information Entropy Maps,DSIEM）的视频特征提取算法。该算法既保留了深度序列的空间信息,可以有效捕获空间运动状态,又增加了深度视频的时间信息并减少了深度序列的冗余度。针对骨骼数据,计算距离和角度,构建对应RGB三通道输入量的灰度图像,经过组合形成运动骨骼描述图。在深度图像特征与骨骼数据特征的基础上,提出了一种多模态人体动作识别方法（动作融合）-多标签子空间学习。该方法通过投影矩阵将多模态特征映射到公共子空间,同时对不同类别标签之间的内在关系进行了探索,找到了可区分的公共特征。