随着计算机计算能力的增强与大规模有监督图像和视频公共数据集的出现,深度学习在计算机视觉的各个领域（如语义分割、分类识别和目标检测等）都取得了令人瞩目的成绩,基于视频的人体动作识别也随之取得了高速发展。在现实生活中,无论是在智能监控还是在人机交互、医疗诊断等方面,基于视频的人体动作识别都有着广泛的应用前景与潜在的经济价值。然而,由于人体动作复杂、背景环境嘈杂、摄像机视角多变等因素,人体动作识别算法的困难度也陡然增加。复杂的算法结构使得模型难以训练与部署,而人体动作的复杂性又对识别算法的泛化能力提出严峻的考验。因此,本文以人体动作识别为研究重点,并结合实际部署要求,提出一套基于视频的人体异常行为识别算法,该算法在保持算法精度、速度的同时,可以对视频进行逐人动作识别。其具体研究如下:（1）提出一种实时的行人检测算法YOLO-SNB（YOLOv3 with SECNet and Blur＿Pooling）。该算法使用YOLOv3目标检测算法作为行人检测的基础网络,通过针对性的修改,显著地提升了行人检测算法的检测精度。本文中,首先针对YOLOv3所存在的“不平衡”问题,使用Focal Loss替代自信度损失以缓解空间不平衡问题;使用GIo U Loss替代均方误差损失以缓解尺度不平衡问题;通过全局前景框生成与损失加权策略,以缓解类别不平衡问题。其次通过在检测算法中嵌入注意力机制模块,缓解多层次检测算法所固有的特征尺度不一致。然后通过研究特征平移等变性对检测算法的影响,将Blur-Pooling嵌入到检测算法中,提升检测算法的检测精度与鲁棒性。最后,对YOLOSNB检测算法进行行人检测模型训练,并进行相应测试,测试结果表明,YOLO-SNB行人检测算法的检测精度为92.9m AP、检测速度为38.2FPS。（2）提出一种高效的3D卷积神经网络结构KD-SI3D（Knowledge Distillation Split Inflated 3D Convolutional Network）。本文使用3D卷积神经网络作为视频动作识别的基础模型,并通过针对性的修改,在不降低算法识别率的前提下,有效压缩了模型体积并提升了算法的识别速度。首先,针对3D卷积神经网络所存在训练参数过多、模型体积过大而导致模型部署困难的问题,本文提出使用卷积分解、卷积分离技术进行模型重构与压缩,并使用知识蒸馏初始化提升算法的识别精度。然后提出识别算法的自信度损失,以增强识别算法的泛化能力。最后对KD-SI3D网络进行算法验证,实验结果表明,本次实验所使用的测试集数据,KD-SI3D网络的识别率为95.9%,而模型体积仅有19.4M。