深度学习是人工智能发展中,不可或缺的一部分,其在如今的计算机研究领域的热门程度有目共睹,越来越多的学者投身在该方向中并取得了令人瞩目的成绩。同时,工业界也致力于将该方向的研究成果变为应用为人们的生活提供便捷。其中人体行为识别研究对机器智能化有着重大的意义和不可或缺的必要性,其不同于静态图片的物体识别,它的载体变为了视频流,具备了时间特性,对数据表征有着更为复杂的要求,也对加于其上算法有着更为严苛的挑战。本文利用了深度学习中的卷积神经网络技术,对人体行为动作的识别算法研究及改进,并将基于深度神经网络的目标检测技术用于面向视频流的行为序列中,实现了多任务学习的行为识别及定位,最终设计搭建了面向智能的监控系统,能够进行异常行为的识别的监控及发生行为的人体定位。本文重点研究了两个能进行目标检测的深度神经网络算法及面向行为识别的深度神经网络算法,并将其结合改进,使用多任务学习的方式进行网络训练,最终获得具有分类能力的多个架构,主要内容及创新包括:1.研究视频流时间性的数据表征方式,如稠密光流、稀疏光流、多帧堆叠成块等,对二维卷积残差神经网络进行分析,将其扩充成三维卷积神经网络,以保留视频流的时间特性,加入非局部特性提取NL层,使用UCF101数据库进行行为识别残差网络训练;结合物体检测深度网络Faster-RCNN中的感兴趣区域产生网络,利用多分类及定位的AVA数据库进行行为识别及定位的多任务学习;本文改进的该算法,不需要用到光流信息进行时间特性的保留,加快了视频流预处理阶段,并且采用非局部特征提取及多任务学习方式,提升了算法识别异常行为能力,能够更好的应用化,进行智能监控系统的搭建,并达到实时检测的效果;2.融合改进物体检测深度网络SSD及光流像素多通道行为识别网络two-stream,分别增加视频和图片数据的输入端,使算法能够适应二维图片及三维视频不同形态的数据输入,提取两个网络的共有结构,进行分步骤的训练,使用不同形态数据集进行训练,缓解现有公开行为识别及定位数据集数量不足、规模不大等问题,并且本文所改进的算法能够在行为数据集UCF101上达到90%的识别率,可以利用其进行视频中行为数据的标定,一定程度减少创建带有行为分类及定位信息数据库的人力资源消耗;3.根据异常行为监控系统需求,设计基于行为识别及定位算法的智能监控系统;系统通过获取实时视频流来检测分析流中人体行为是否异常,及发生异常时对异常行为的定位。本文所设计的系统,摒弃光流的数据表达方式,使用本文所改进的残差定位网络进行系统算法支撑,以达到实时监测的目的。