论文部分内容阅读
近几年,随着卷积神经网络在计算机视觉领域的逐步推广,基于卷积神经网络的行为识别算法已经取得了较好的成绩,但由于外观的巨大变化、遮挡、非刚性运动、尺度变化、视角变化、细微动作不明显,以及背景与目标衣服颜色相近等行为识别中难以解决的问题,该类算法在检测性能与检测速度上依然有很大的提升空间。本文主要针对单人行为识别进行研究,提出了三种基于卷积神经网络的行为识别算法:基于扩张卷积残差网络DRN的四通道行为识别算法、基于DRN的双数据库加权识别算法,以及基于DRN与目标检测网络Faster R-CNN融合网络的行为识别算法。主要研究工作及创新如下:(1)基于DRN模型的两种行为识别算法首先将彩色数据库转为高频灰度数据库,四通道行为识别算法将高频灰度图像加上彩色图像的RGB通道形成四通道数据集,微调DRN网络预测行为。双数据库加权识别算法采用高频灰度图像数据集和原彩色数据集加权的方式预测行为。实验结果显示两种基于DRN的行为识别算法分别取得76.1%和76.7%的m AP,较其它相关算法有所提升。(2)针对上述两种算法无法对发生行为的前景目标进行定位的问题,在目标检测网络Faster R-CNN中融入DRN网络提出的扩张卷积残差块代替原Faster R-CNN中的一般卷积层,实现了一个基于DRN和Faster R-CNN的融合模型,并在该融合模型的基础上提出了两种改进的融合模型:在每一层前面添加一个Batch Normalization层的融合模型;用三层扩张卷积残差块代替部分两层残差块的融合模型。实验结果表明三种融合模型较上述两种算法及其它同类算法取得了更高的mAP。其中,包含三层扩张卷积残差块的融合模型性能最佳,m AP达到78.9%。