基于双流三维卷积网络的暴力行为识别

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:lifubao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的蓬勃发展,视频资源日渐丰富,公共场所的监控摄像头越来越多,网络视频的流量飞速增长,信息传播速度进一步加快,导致视频信息的安全性问题逐渐暴露出来,因此基于视频的暴力行为识别越来越受到关注,而从视频中自动识别犯罪场景变得至关重要且具有挑战性。目前,在暴力行为识别任务上,主流的方法是基于深度学习的,但普遍会存在两个问题,(1)目前很多深度学习网络模型都是基于C3D网络结构作为骨干网络进行识别,虽然3D卷积对视频序列进行特征提取时可以同时提取时域维度和空域维度的特征,但是计算成本较高和模型存储太大,不易部署在视频监控场景下的移动设备或嵌入式设备上。(2)针对密集人群难以建模,高密度人群下行为较为复杂,一些暴力行为识别模型无法根据特定的场景进行识别。针对问题(1),首先本文设计了3D分离卷积因子验证了传统的C3D模型存在模型参数量大,计算量高等问题,然后在3D分离卷积因子的基础上,设计了渐进融合双流模型,并且通过渐进融合的方式将视频信息和光流信息进行信息交互,增强了双流特征信息之间的通信,并在此基础上采用self-attention的方式使模型可以捕捉视频中的长距离依赖,并自注意力地对融合的特征学习中暴力的部分赋予高权重,非暴力部分赋予较低权重,以此来提升模型对暴力行为识别的准确率。最终在Hockey Fights数据集上得到的准确率最优结果为98.26%,与目前已知最优模型相比提高了0.76%的准确率,在Movies Fight数据集上平均准确率为100%,与目前已知最优模型持平,在RWF-2000数据集上提升了1.09%的准确率,参数量减少了24.06M,计算量减少了19.77G FLOPs。针对问题(2),在高密度人群场景下,人群比较密集,不易识别人群之间是否存在暴力行为,本文引入人群密度图作为先验信息,来辅助识别高密度场景下的人群暴力行为,同时针对密度图融合的方式设计了点乘和注意力机制方式进行特征融合,从而来识别高密度场景下的暴力行为。在Violent Crowd数据集上进行实验,得到的准确率最优结果为90.21%,与目前已知最优模型相比,提高了1.32%的准确率,参数量减少了24.05M,计算量减少了19.96G FLOPs。
其他文献
钨酸钴(CoWO4)作为过渡金属钨酸盐中的一种,已被应用于诸多领域。查阅相关文献发现,CoWO4拥有良好的光催化降解有机污染物的活性,但目前尚未发现关于CoWO4催化超声降解染料和药用废水的研究。由于声催化和光催化原理相似,同时声催化具有穿透力强,适合高浓度高色度废水的特点,因此本文探索CoWO4在声催化领域的应用,进行纳米钨酸钴声催化材料的合成、改性及降解有机污染物(以藏红T和四环素为模型)的研
学位
微生物感染引发的死亡率逐年升高,已逐渐发展为一种日益严重的全球危机。因此,寻求新的抗菌疗法已成为治疗微生物感染迫切关注的问题。声动力抗菌化学疗法(Sonodynamic antimicrobial chemotherapy,SACT)主要是利用超声空化效应,激发聚集在微生物感染部位的声敏剂,产生一系列损坏性的物理效应以及活性氧(Reactive oxygen species,ROS),降低病原菌存
学位
大数据质量问题是普遍存在的。在工业传感器、可穿戴设备、智能手机、平板电脑等设备中会源源不断的产生大量数据,由于数据来源的多样性,以及由软硬件故障引起的错误,都会给数据带来噪声,导致数据质量问题,影响数据的可用性。数据质量低劣不仅影响大数据真正价值的体现,甚至会造成严重的后果,数据质量问题亟需解决。其中,不一致是典型的数据质量问题,在数据管理领域,目前已经有自动化的一致性错误检测、不一致数据修复和一
学位
近年来,胃肠道间质瘤(gastrointestinal stromal tumor,GIST)的发病率和死亡率均呈上升趋势,多数GIST都有c-KIT组成型激活突变。手术治疗是GIST最重要的治疗手段,但是c-KIT突变的GIST术后复发率较高。目前市面上治疗c-KIT突变阳性GIST的药物已出现耐药现象,因此亟需开发新型c-KIT抑制剂来改善GIST的预后。在本研究中,我们研究了新型c-KIT抑
学位
<正>为喜迎党的二十大,绍兴市上虞区崧厦街道中心小学少工委编印了《故事中的党史》红色校本教材。少先队员时时读故事、讲故事、演故事,兴致勃勃地当起党史故事的小主播,成为红色文化的小先锋。校内+校外:百名队员讲党史“为了麻痹敌人,民兵们研究了一种在地雷腹中自动点火的‘慢雷’……”队课上,各中队“党的故事我来讲”红色故事擂台赛如火如荼地进行着。根据优秀红色故事的评选标准,四(2)中队张欣沂经民主投票被选
期刊
近年来,以互联网为媒介的电子媒体迅速发展,网络新闻作为基础应用之一正在影响越来越多的网民,拥有巨大的市场前景。然而在感受着网络新闻带来的快捷化信息便利的同时,网络新闻文章数目庞大、文章质量参差不齐、阅读过程耗时延长等弊端也日益显现。在这种时代背景下,自动文本摘要技术逐渐受到关注:文摘结果可推送给用户,吸引用户点击提升用户阅读效率,进而提高用户对产品的依赖性;作为中间结果代替原文本参与信息检索过程,
学位
心血管疾病是近年来不容忽视的公共卫生问题,随着社会与经济的高速发展,心血管疾病的患病率在逐渐上升。冠心病是患病率最高的心血管疾病,而冠脉CT造影技术则是有效、非创伤性的冠脉相关疾病评估与诊断方式。实效性强的冠心病计算机辅助诊断方法是智慧医疗在心血管临床场景应用中的关键技术。然而受限于冠脉狭窄的复杂性和不确定性,基于冠脉CT造影的自动冠脉狭窄分析依然是一项具有挑战性的任务。本文设计了局部Transf
学位
学位
随着强化学习的迅速发展。其他行业的研究人员也不断的将强化学习思想应用到自己的研究领域中。随着以强化学习为核心的应用不断增多,强化学习存在的问题也逐渐的暴露出来。其中最主要的一个问题就是强化学习的效率问题,强化学习在完成运动规划任务的过程中,需要与环境进行大量的互动,如果没有一个好的探索策略,会大大延长智能体学习的时间。除此之外,强化学习需要使用奖励函数来激励学习,而在实际应用中,外界环境往往是复杂
学位
随着人工智能时代的到来,机器学习应用的领域越来越广泛。伴随着数据处在爆炸的时代,机器学习在训练数据规模和计算等问题上正面临诸多严峻的挑战。比如,现有的数据管理技术无法直接为机器学习数据提供智能的存储,现有数据选择方法不能很好地满足机器学习样本数据的概要提取需求,目前尚无高效的连接顺序选择算法等。为了推动数据库内机器学习的发展,使智能数据管理技术赋能机器学习,本文研究了支撑数据库内机器学习的关键智能
学位