基于卷积神经网络和概念属性的视频事件分析研究

来源 :江苏大学 | 被引量 : 0次 | 上传用户:yht52119
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,多媒体数据迎来了爆发式增长,视频事件分析成为了当今研究的热点,其在智慧城市和安全保障等诸多领域有着广泛的应用前景和巨大的经济价值。背景复杂、视角多样、类内差异大等因素使得视频事件分析极具挑战性。近年来,深度学习在多媒体领域取得了巨大的成就,但深度学习模型需要大量带标签的高质量数据,已有的模型和方法难以满足需求。本文针对已有视频事件分析方法对带标签数据依赖,未能有效利用视频本身所携带的语义概念信息问题,提出了结合语义概念和双流特征模型的视频事件分析方法与结合语义概念和时空注意力模型的视频事件分析方法。本文的主要工作如下:(1)提出结合语义概念与双流特征模型的视频事件分析方法。首先提出针对任务的优选概念子集生成方法,以此构建基于语义概念的视频事件检测模型。同时构建光流图像和空间流序列的双流特征卷积神经网络加LSTM的视频事件检测模型,进而将两流事件分析结果进行融合分类检测。最后将基于语义概念的事件分类分析结果和基于双流特征的事件分类分析结果进行决策融合,最终检测出视频事件。实验结果表明,该方法能有效地利用视频所蕴含的语义概念信息,提升视频事件分析的准确性。(2)提出结合语义概念与时空注意力模型的视频事件分析方法。为减少无关信息对视频事件分析的影响,在原有框架基础上,对双流特征模型进行改进。首先利用CNN处理RGB图像与连续光流图像以获取空间和时间特征,并先后输入到空间注意力网络和时间注意力网络中进行空间与时间注意力加权,然后将加权后的双流特征进行融合分类,得到基于时空注意力的事件分类分析结果。最后将基于语义概念的事件分类分析结果与基于时空注意力的事件分类分析结果进行决策融合,作为最终检测结果。实验结果表明,所提出的方法能进一步提升视频事件分析的准确性。(3)设计实现结合语义概念与时空注意力模型的视频事件分析原型系统。基于程序模块化的设计理念,利用Python、Tensorflow和Numpy实现了系统算法,并采用PyQt设计了简洁的系统GUI界面。系统包含数据预处理,语义概念提取、模型训练和视频检测四个功能模块,验证了本文所提视频事件分析方法的可用性。
其他文献
随着社会工作在中国的快速发展,作为社会工作发展承载主体之一的社会工作机构也越来越多的开始涌现。由原来的星星之火发展到燎原之势。尤其近年来,随着社会工作及其相关的领
以往实验室的研究表明,人们的决策,特别是医疗决策,很大程度上偏离了正确答案(Brase&Hill,2017),表现为在信息整合时往往只会重视证据信息—即直观感受到的现象,而忽视了先验
机会网络是一种新型的分布式自组织网络,其分布式、自组织等特点方便快速组网,目前已广泛应用于深空通信、车载网络等通信场景。近年来,随着移动终端的普及,一些基于机会网络
随着计算机技术的不断发展,各行各业对软件的需求越来越大,越来越多的人享受着信息系统带来的方便快捷。在信息技术不断发展过程中不可避免要面对的问题就是软件漏洞。在软件开发过程中开发人员都会犯一些错误,有些错误是致命的,如果不及时找出来会造成很严重的后果。如今我们遇到的绝大多数安全漏洞都是不安全代码引起的,对计算机系统的保护在很大程度上取决于对软件漏洞的识别。因此,对软件漏洞的分析与研究日益成为信息安全
水污染行为具有严重的社会危害性,行政处罚和民事制裁不足以遏制各种对水资源的污染和破坏行为,必须由刑法对其加以规制。水污染犯罪是指行为人违反法律规定,实施某种行为,致
我国刑法仅规定了正当防卫和紧急避险两种情形能够达到排除社会危害性行为的目的。但在司法实践中,却又对被害人承诺效力的认定持积极的态度,即在一定程度上承认了它具有阻却
正当防卫系一项重要的法律制度。长久以来,我国刑法学界对于这一制度的研究局限于教义学探讨,而忽视了哲学对其的指导意义。对防卫权的正当性基础展开研究,不仅是对目前理论
在社会生活中,人们往往会面临一些道德决策,研究者对其加工特点和影响因素进行了研究。然而,面孔吸引力这一情境对个体道德决策影响的认知神经机制的研究较少。因此,本研究旨
边界元法使用边界上的积分方程来代替实际问题的控制方程,将边界离散化为有限个单元,然后在离散单元上对积分方程进行求解,将对整个求解域内的未知量的求解转化为对边界未知
近期,虽有少量研究开始考察了高述情障碍对个体功利主义道德判断的影响,但这种影响仍存在较大争议。此外,高述情障碍影响个体功利主义道德判断的潜在心理机制尚待进一步探究