动作识别是计算机视觉研究中一个具有挑战性的问题,特别是对于动作识别逐渐从二维到三维,从非交互到交互的转变。如何从多人甚至更加复杂的场景中有效地进行动作的识别、分类甚至预测正在逐渐变为动作识别领域中越来越值得研究的问题。动作识别在过去的研究中,已经在传统的手工特征上取得效果,主要针对特定数据集和动作,设计特定的特征再进行识别。但是,随着动作场景的复杂化,更多的对象参与到一个动作的表示中,不同的对象之间有了更多的关联与交互性;同时数据的表现形式也从2D的视频上升到3D的骨架形式。但骨架的非欧氏距离结构却无法用2D的方法处理,给深度学习神经网络的设计带来巨大的挑战。如何在维度为3D的骨架数据上,处理双人和多人之间的交互动作的识别,是未来三维交互性动作识别中亟待解决的难题。本文针对上述挑战,在动作识别的领域下分别从多模态特征融合、图卷积的空域关系、图卷积的时域关系等不同的角度展开研究,并取得了一些进展,具体包括:（1）针对不同模态的动作数据,提出了一个基于超图的多模态特征融合的方法,首先通过深度序列滤波提取关键字,利用Alexnet网络提取深度信息特征;其次利用多规模CNN网络提取骨架特征;最后利用超图的高阶相关性,在提取的不同模态特征中寻找关联性并进一步融合特征,达到最终的识别率的提高。超图不仅用来进行多模态融合,也会在后续工作中用来融合我们所提取的骨架模型的不同特征。（2）针对动作的交互关系,提出了一种包含两人交互信息的相似图卷积网络,在进行交互动作识别时,以往的研究是基于一个固定的骨架图,只捕捉单个动作中局部身体运动的信息,而不处理两个或多个人之间的骨架关系。而该模型可以表示两个人之间的关系,同时,对于不同的身体部位（如头和手）,相似图卷积网络也可以很好地处理这种关系。该模型具有骨架图和相似图两种构造模式,超图较好地融合了两种合成模式的特征。其中相似图是通过两步构造得到的:首先,设计一个编码器,将关节的不同特征映射到同一个向量空间;其次,计算不同关节之间的相似度,构造相似度图。最终通过两张图的构造实现对于交互性三维动作的识别。（3）针对动作中的帧间关系,提出了一种相似图卷积LSTM网络,该模型也是同时具有骨架图和相似图两种构造模式,最终运用超图融合其特征。由于在相似图卷积网络中,我们对于一个动作的所有序列帧的相似图构建是基于一帧一帧的骨架帧来进行的,每一帧的构图都是分开的,对于动作的帧间关系并没有很好地进行处理。针对此构图问题,我们加入了LSTM框架,处理时域上的相似图构建。通过对每一帧骨架构造单独的相似图,在LSTM-Cell中加入图卷积的思想。对于不同时间序列帧,处理的骨架点的重点不同,最终达到处理动作之间交互关系的目的。最后我们在NTU的骨架数据集上进行实验,验证了模型的有效性。从超图融合的结果来看,可以很好地融合多模态的特征。最后的结果表明,相似图卷积网络可以很好地处理人与人之间的交互信息,最终在实验模型中可以达到85.7%的识别率,而基于帧间关系的相似图卷积LSTM网络则进一步提升了效果,可以达到88.5%的识别率,超过了先前的识别方法,可以有效解决三维交互性动作识别中的关系建模问题。