由于其广泛的应用,对基于视频流的人体行为识别一直都是计算机视觉领域的研究热点,如牢狱边界行为防范、养老院老人异常行为预警、公共场所异常行为预警等等。行为识别任务主要的研究方向是实时行为识别,实时行为识别对来自于摄像头的实时视频流进行识别,处理速度必须超过视频流的速度,同时不能牺牲过多的精度。此外,若视频中包含多个目标则需先对目标进行跟踪再对其进行行为识别,故在多目标行为识别项目中计算资源消耗量与目标个数成正相关。为了研究出兼顾准确性与高效性的行为识别算法,本文围绕高效行为识别算法开展了如下具体工作:1、提出了可增强3D卷积的空间特征提取能力的空间增强模块。通过对2D及3D卷积的空间特征与时间特征提取能力的全面分析,并搭建了2D与3D不同组合的网络结构并将其在两个大型数据集进行测试,得出结论:3D卷积的空间特征提取能力要弱于2D卷积。基于此结论,本文提出了空间增强模块,空间增强模块内部主体结构为3D卷积与2D卷积并联结构,2D卷积所提取的空间特征在模块的结尾会叠加至3D卷积所输出的特征图,这种并行的架构可显著提升3D卷积的空间特征提取能力,并通过两个大型行为识别数据集验证了空间增强模块的有效性。此外,空间增强模块在部署阶段可融合成单一的3D卷积,故空间增强模块相比3D卷积并没有引入额外的计算量。2、提出了采用基于Temporal 2D卷积的行为识别算法。3D卷积在行为识别任务中可很好的提取时间特征,但是部分部署平台对3D卷积算子并不支持。为了解决此问题,本文提出了Temporal 2D卷积,在使用2D卷积的情况下仍然可以保持与3D卷积一致的良好的时间特征提取能力。此外,Temporal 2D的运算速度以及参数数量保持在2D卷积的水平,相比3D卷积大大缩小了模型大小并提升前向推理速度。3、为了将行为识别算法应用于实际场景,本文设计了基于多目标跟踪的行为识别系统,该系统可识别玩手机、抽烟、奔跑、打架、摔倒5类异常行为。该系统首先通过目标检测模块获得所有目标的位置框;接着计算所有位置框的IOU以实现目标跟踪;其次将人体的运动区域截取下来,并采用上述第2点所提出的Temporal 2D所设计的网络对截取的区域进行行为识别,若某个目标持续一定时间均被判定为上述异常行为的其中之一,则模块会发出告警信号。最后通过结构化剪枝技术压缩了模型并提升了模型的计算速度。