随着科技技术与深度学习技术的不断迅猛发展和广泛的使用,以及计算机视觉技术的快速兴起并得到广泛的关注,而人体异常行为识别技术作为计算机视觉领域的一个重要分支自然也倍受关注。同时人体异常行为识别技术被广泛的应用在安防、人机交互、安全驾驶和视频检索等领域。近年来基于深度学习技术的一些自动识别算法也被运用到行为识别领域。而作为深度学习具有代表性的卷积神经网络与传统的神经网络相比,卷积神经网络提高了行为识别的效率,并且在计算机视觉的其他领域也取得了突破性的成功。因此采用深度学习的方法来对视频中出现的异常行为进行高效准确的识别是具有十分重要的研究意义。在对视频的研究中,对于一些特定环境下的人体异常行为的识别研究相对较少。由于人体异常行为具有多样性、随机性以及不可预测性,导致在异常行为的研究方面并没有取得很好的结果。所以本文以深度学习为基础来进行人体异常行为识别研究,并取得了较好的识别结果。本文的主要内容如下。第一、对深度学习的理论知识进行介绍,研究了人体行为识别的一些常见的传统算法以及兴起的深度学习算法。重点研究了光流算法和双流卷积神经网络模型。在双流卷积神经网络中,是由空间流网络和时间流网络组成。它们具有相同的网络结构以及深度,不同的是空间流网络以RGB图像作为网络的输入,而时间流网络则以光流法计算得到的光流图作为网络的输入。因此双流卷积神经网络能够充分的利用视频在空间上和时间上的信息特征,为人体异常行为识别提高了更多可用信息特征。第二、为了满足在特定环境下的人体异常行为识别的需求,需要对实验环境中人物所表现出的行为进行分析,然后对其中一部分行为定义为异常行为。由于本次实验的环境是研究生工作室,因此将人物所表现出的fall(跌倒)、collide(相撞)、hug(拥抱)、shake(握手)、fight(打架)、sleep(睡觉)、eat(吃东西)这几种行为定义为异常行为,并作为本次课题所要识别的行为类别,其他行为类别并不做研究。第三、人体行为是由一段时间内连续性的动作所构成的,对人体行为进行识别不仅要包括动作在空间上的轮廓特征而且还要包括动作在时间上的运动趋势特征,所以双流卷积神经网络模型是最合理的。同时本文提出一种改进的双流网络,即使用VGG16网络来代替双流卷积神经网络中的卷积神经网络。由于本文所要识别的行为类别不多,对VGG16的部分参数做了一定的修改。对改进后的双流网络在空间流网络和时间流网络所提取的特征采用加权融合的方式进行融合实验,对比不同权重下的实验结果,得出识别率最高的权值。第四、为了提高人体异常行为的识别率,本文还对光流法得到的光流图进行了2帧、5帧以及8帧的叠加处理,然后通过叠加的光流图来进行实验。验证了叠加的光流图包含了更多的人物运动趋势信息,对异常行为识别的识别率有一定的提高,得到良好的识别效果。