基于注意力机制的视频异常事件文本描述方法研究

来源 :西安科技大学 | 被引量 : 0次 | 上传用户:ChengpCN
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在煤炭行业,如何智能化理解煤矿井下监控视频中的语义信息,并对其包含的异常事件进行描述,是预防与缓解安全事故频发的有效手段之一。煤矿监控视频数据质量较差,对视频中异常事件的检测与视频的文本语义描述会产生一定的影响。传统的异常事件检测方法大多依赖于手工特征,存在智能化程度不高、识别精度低、表达能力不足等问题,使用深度学习网络能够完成自主抽取特征并且有较强的泛化能力,但是在视频异常事件语义描述研究中仍存在异常事件的识别率低、文本描述准确率不高的问题,针对这些问题对煤矿井下监控视频中异常事件的文本描述方法进行了研究,主要研究内容如下:(1)针对煤矿井下监控视频中异常事件的检测问题,提出了基于注意力机制的VGGNet-LSTM视频异常事件检测方法。首先,本文对视频的帧序列进行预处理以降低视频质量对最终预测分类结果的影响;其次,使用VGGNet网络获取视频帧的全局特征表示,并输入到LSTM网络中;之后,利用视觉注意力机制,融合到VGGNet与LSTM网络中,对视频帧中的目标分配不同的权重;最后,通过softmax分类器做出分类预测。在煤矿井下视频数据集中的实验结果表明,本文提出的方法能够有效提升异常事件检测的准确率。(2)针对煤矿井下监控视频中异常事件语义的文本描述问题,提出了一种基于注意力机制与多特征融合的视频文本描述方法并应用于包含异常事件的煤矿监控视频中。首先,本文提取视频帧序列的全局特征、局部特征及视频特征以获取更多的视觉特征信息,并将特征进行加权以实现前期融合;其次,将融合后的特征在文本语义描述模型上进行训练;在解码器部分引入注意力机制对视觉信息与文本信息自动分配权重以实现后期融合;最后,输出视频异常事件的文本语义描述。将本文所提方法在煤矿井下视频数据集上进行了实验验证,结果表明本文提出的方法能够有效的提升文本描述的准确性。
其他文献
清代中晚期,政府为了社会经济发展的需要,大量进行移民和大规模的开垦土地,这种掠夺性经营西北的方式,使得很多不适宜进行农业生产的土地被开发出来,西北的环境在清中晚期持续恶化
应用多刚体动力学和有限元理论,在MADYMO软件中建立了包括车体、安全带、安全气囊和假人的微型客车驾驶员约束系统模型。综合考虑安全带、安全气囊参数对模型进行调整,较真实再
行政道德文化是指在行政实践活动基础上形成的,直接影响行政道德活动与行政道德关系的各种心理、行为和精神活动状态的总和,具体包括行政道德原则、行政道德评价标准和行政道德
大卫·格里芬是美国建设性后现代主义的领军人物。格里芬认为,怀特海哲学是通向生态思维的,怀特海哲学就是一种建设性后现代生态哲学。格里芬本人对生态问题的关注贯穿其学
免疫失败是指用某种疫苗免疫过的动物在免疫保护期内又发生该疫病的现象,即免疫没有起到保护动物抵抗该病的作用。目前动物抗体水平监测已逐步得到推广,并成为许多地方评定免疫
针对冷凝换热系数测定装置非稳态启动过程的绿色节能问题,提出回收冷凝水余热的节能改进方案,建立了相应的数学模型,进行实例分析,探讨该方案的节能潜力.结果表明,采用该方案
机电工程设施是建筑工程中重要的一部分,它影响着建筑工程的施工质量和整体利益,它的质量安全保证也是十分重要的,应该给予高度重视。在机电工程施工中存在着一些影响质量的问题
结合宁夏吴忠市利通区水资源短缺、水资源利用效率低、水环境质量较差、水土流失严重、基础水利设施老化失修、运行管理方式落后等实际情况,从地方水利发展与水生态文明建设
在我国社会化进程的进步中,低碳的社会模式是发展的重点。文章的观点认为我国的城市规划中,应该建设和发展低碳经济城市。作者首先从强调城市的多功能和紧凑布局结合;建立新型的
摘要:随着教育体制不断的深化与改革,素质教育的提出,使得我国各大高校的体育教学越来越受关注。排球作为高校体育教学的关键内容之一,受到了广大师生的热爱与欢迎,随着高校选修排球課程的人数逐渐增加,在无形中就增加了体育教学的难度。特别是对于独立学院来说,如何应用快乐的体育教学方法来提高排球的教学质量与教学效率,激发学生的学习积极性已经成为独立学院目前急需要解决的重要问题。因此,本文针对独立学院体育课的快