基于视频的人体动作识别,作为近些年来视觉领域中一个热门的研究课题,被广泛用于智能人机交互和虚拟现实、智能视频监控和基于内容的视频检索、智慧医疗和看护等领域。然而在杂乱背景、遮挡和光照变化等现实环境下,如何从复杂、多变的人体动作中提取更加鲁棒性的特征,是动作识别领域中的一个研究难点。传统方法通常需要手工设计特征,并依赖足够的先验知识来取得较高的动作识别率。得益于CNN在图像分类、目标检测等视觉任务上的成功适用,许多优秀的深度学习方法也逐渐用于动作识别研究,并取得一些重大进展。本文基于3D CNN架构对动作识别进行深入研究,主要工作内容如下:(1)针对现有的3D CNN架构,因其模型复杂度高而导致难以学习更加丰富、抽象的深层特征,提出了轻量级多尺度卷积模型。该模型通过在3D卷积残差网络中嵌入轻量级多尺度卷积模块来增加每层网络中的局部感受野范围,在显著减少模型复杂度的同时,还提取了目标在细粒级别上的多尺度特征,显著增强了对目标的表征能力。最后,利用通道注意力机制对多尺度特征进行关键特征提取。实验结果表明,本文模型取得了较高的动作识别率。(2)考虑到RGB图像含有丰富的外观信息,能够很好的对人体动作细节和纹理进行描述,而Flow图像包含了移动目标的速度、方向等重要运动信息,提出一种基于多模态图像输入的动作识别方法。该方法通过融合RGB图像和Flow图像中的有用信息来生成中间图像,然后与RGB图像组成多模态图像以增加网络多源输入。并研究了融合这两个模态图像特征的时间阶段,进一步提升了网络性能。实验结果表明,本方法在动作识别率上优于其他3D CNN架构方法。