论文部分内容阅读
随着我国经济和智慧城市技术的不断发展,公共场所的视频监控网络规模不断扩大。公共场所复杂环境下的目标检测和异常行为检测在计算机视觉领域引起了大量学者的广泛关注,如图像的显著性检测、群体异常行为检测和图像中关键人物的检测等技术。集会场景下的关注性对象检测旨在公共场所复杂环境下,自动检测出视频或图像中群体关注的对象。在集会场景下,群体关注的对象往往和视频监控者关注的对象一致。而且在公共场合群体关注对象的突然出现往往表明发生了特殊事件,需要提高警觉,加强监管。因此,集会场景下关注性对象检测在视频图像关键信息自动抓取、智慧城市的群体突发事件预警等方面有着广泛的应用。现有的目标检测方法应用在集会场景下关注性对象检测面临以下三个方面的问题。第一,由于集会场景中的人流密度大且场景复杂多样,现有的检测算法无法对具有不同外貌、轮廓信息的关注性区域提取关注性视觉特征,有效判断区域的关注性;第二,由于现有的聚集检测算法忽视群体聚集行为的内部特征,鲁棒性较差,导致无法将群体本身固有的特征与复杂环境信息联系起来,无法有效判断群体的关注性;第三,由于现有的重要人物检测算法大多是通过人物所处图像空间位置或像素占比等先验知识来判定人物的关注性。但是在集会场景下,场景的多样性让人物的特征提取变得较为复杂,无法通过简单的姿态、位置等信息来判断人物的关注性及重要性。本文针对以上三方面的问题对关注性对象检测进行了深入研究,并将关注性对象检测算法在群体突发事件预警中的应用进行了探索。本文主要的研究内容和成果如下:（1）针对第一个问题,即现有检测算法无法在集会场景下获取区域关注性视觉特征的问题,本文提出了一种基于多输入的注意力网络（Multi-input Attention Network,MAN）的两阶段关注性区域检测算法。该方法的第一阶段通过一系列传统的图像处理技术自动生成候选关注区域,其中包含有:K-means++,图像膨胀,中值滤波等算法,解决了候选关注性区域自动生成的难题。该方法的第二阶段设计了一个多输入的注意力网络模型,多输入的模型可以有效防止训练的过拟合。为解决提取关注性视觉特征的问题,该模型包含两个专门用于提取关注性区域视觉特征的模块。第一个模块是通道注意力模块（Channel Attention,C-A）,用来提取候选关注性区域的局部视觉关注性特征。第二个模块是空间注意力模块（Spatial Attention,S-A）,用来提取候选关注区域全局关注性视觉特征。最后通过上述特征来产生置信系数以判断出真正的关注性区域。本文通过在现有数据集以及自建数据集上的测试及对比试验表明,本文提出的方法优于现有的检测方法,可在复杂的集会场景完成具有一定鲁棒性的检测。（2）针对第二个问题,即现有算法无法把群体本身固有的特征与环境信息进行联系并有效判断群体关注性的问题,本文提出了一种可以有效判断人群聚集的数理统计模型。该模型把聚集群体的内部特征与周围人群环境信息有效的关联起来。基于该模型,本文提出了一种名为Detection of Group Gathering（DGG）的关注性群体检测方法。该方法包括三个模块。第一个模块是候选聚集帧检测模块（Detecting Candidate Frame of Gathering,DCFG）,它可以对视频中的图像帧进行处理以找到人数最多的视频帧。第二个模块是聚集区域检测（Gathering Area Detection,GAD）模块,它通过滑动搜索框对每一帧图像中局部区域的最大群体密度进行检索,从而找到具有聚集行为内部特征联系的最优局部区域。第三个模块是聚集性判断（Gathering Judgement,GJ）模块,用来对上述所有视频帧中的最优局部区域进行数理统计分析,以找到关注性群体。该方法在现有的群体异常行为数据集上的测试结果表明,DGG的检测效果优于现有的检测方法,可以实现高精度的关注性群体检测任务。（3）针对第三个问题,即现有算法仅仅基于姿态、位置等信息的方式无法有效提取复杂场景中人物的关注性视觉特征的问题,本文提出了一种基于视觉显著性和面部特征分析的关注性人物检测框架,该框架包含两个部分。第一个部分是密集级联式特征增强网络CEDN（Channel-feature Enhanced Dense-cascade Network）,它具有密集跨通道连接以进行不同通道之间特征融合的显著性检测网络。该网络可以通过检测得到场景中的显著性人物信息,而且可以把背景信息和非显著性人物滤除。第二个部分是基于面部特征分析的关注性人物检测模块。该模块基于人脸检测模型,可以对CEDN处理后的图像进一步检测,从而得到显著性人物的面部信息。包括显著性人物的面部位置和五官位置,再依据先验性判断而设置的面部特征分析和相关原则,即可完成关注性人物的检测,经测试表明,该方法相较于现有的方法具有更好的表现。（4）本文将关注性对象检测算法的研究成果应用在群体突发事件预警中,用于提升群体突发事件预警的时效性和应急处置决策的科学性。关注性区域检测算法检测出的关注性区域可以作为关键信息用在智能监控视频的压缩存储中;关注性群体检测算法可以有效判断群体是否聚集,并监控聚集区域的人群密度情况;关注性人物检测算法检测出的关注性人物人脸信息与相关管控人员的人脸信息比对,可以为人群聚集的性质提供进一步的判断依据。本文设计提出了基于关注性对象检测算法的群体突发事件预警系统的框架。