随着互联网的飞速发展以及可穿戴设备的广泛使用,人们越来越多地使用视频作为记录媒体,由于人体行为识别在现实生活中应用广泛,越来越多的研究着力于视频的人体行为分析。随着深度神经网络的快速发展,大量基于深度学习的视频行为识别模型被提出并且取得了优良的性能,但现存的这些算法仍存在两个主要的问题,一是对多模态信息的利用不充分,例如只使用单模态的数据,或者没有同时同步训练多模态数据。二是没有完全挖掘多精度信息。本文针对上述存在的问题对视频行为识别任务进行研究,分别提出了基于多模态信息融合和基于多级特征的行为识别模型,本文的研究内容主要包括下面两个部分:（1）多模态信息的利用。当前许多视频行为识别模型只使用单模态的数据,或者在使用多模态数据时分别训练针对单模态的网络,没有充分利用数据中包含的多模态信息的互补性和关联性,所以本文提出了多模态特征融合模块,该模块将每个模态分别映射到共享的和特定的特征空间,然后根据两个模态在共享特征空间中的相似性,对特定特征空间中的特征进行增强。融合后的特征不仅结合了两种模态的特性,而且显式地增强了模态间的不变性。本文进行了充足的比较实验以及消融实验,实验结果证明了所提模型与其他模型相比具有出色的识别能力。（2）多精度信息的挖掘。在视频行为识别任务中,因为动作片段的持续时间不同,所以模型需要拥有对长时间事件和短时间事件都能精确理解的能力。当前很多模型只建立了单一级别的特征,没有显式建模多精度的信息。针对此问题,本文提出了基于多级特征的模型,通过不同程度的特征聚合,显式地构建不同级别的特征以表示不同精度的信息,然后使用对应的子网络处理不同级别的特征,最后聚合所有子网络的输出得到模型的预测。本文进行了完整的比较实验,结果表明多级特征的使用相比于单级特征能够显著地提高模型的性能。