深度传感器不仅能获得RGB视频数据还能获得3D深度数据,因而基于RGB-D相机的动作识别的研究越来越多。3D结构信息简化了动作识别的运动内部变化,并且去除了杂乱的背景噪声,因此3D结构信息能够有效地用于识别任务。虽然3D结构信息很有效,但是有关3D结构信息的方法仅适用于深度数据。由于深度数据是不连续的,会产生噪声,而RGB数据是连续的,刚好可以弥补深度数据的缺点。而人体部位的动作是高度相关的,因而采用深度序列。但是深度序列是串联的高维向量增加了参数数目和计算时间,而用矩阵形式表示就可以克服这个问题。为了解决上述问题,本文进行了以下研究工作:(1)针对RGB数据和深度数据以及骨骼数据优缺点之间的互补关系,提出了基于RGB-D的双线性异构信息的动作识别研究。该方法有效地利用两种数据,并进行交叉模态特征空间学习。用矩阵的形式表示捕获的时空特征。该方法学习了两种数据的共享特征空间,并产生了交叉模态特征。在该模型中,许多噪声可以用信息测度来减少。使用学习交叉模态特征的共享特征空间来进行动作分类。实验表明,当一种数据缺失或者丢失时,依然能够通过另一模态进行识别,提高了识别泛化能力。且用矩阵表示特征提高了计算效率。(2)针对RGB数据和深度数据都缺失的情况下不能识别的问题,增加骨骼特征来进行动作识别,提出了基于RGB-D的多线性异构信息的动作识别研究。该方法充分地利用RGB数据、深度数据和骨骼数据,并用矩阵形式进行捕获到的时空关系特征表示。该方法学习了RGB数据、深度数据和骨骼数据的共享空间,并产生交叉模态特征。在该模型中,用信息测度减少噪声。用学习到的交叉模态特征的共享空间来进行分类。实验表明,当RGB数据或深度数据或骨骼数据缺失或者丢失时,依然能够通过其他模态进行识别,提高了识别泛化能力。且用矩阵表示特征提高了计算效率。