基于多图正则化自动编码器深度网络的视频语义分析

来源 :江苏大学 | 被引量 : 0次 | 上传用户:songking99
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网技术和多媒体信息技术的高速发展,用户在网络上获取视频数据以及进行信息的传输更加方便,也造成了网络上的视频、图像等多媒体数据数量迅猛增加。视频数据作为当前互联网中的重要数据来源之一,它含有丰富的数据信息但是数据量大、数据结构复杂。视频数据的发展及对于视频智能化处理的需求促使人们在视频语义层面对数据进行分析,识别出视频的语义标签以实现对数据的更高效管理和检索。在视频管理和检索领域,研究提取视频的有效特征并且利用这些特征实现视频语义分析和概念检测成为热点问题。本文在查阅大量文献的基础上,首先介绍视频语义概念分析的研究背景、意义及国内外发展现状,其次介绍几种深度学习模型,如自动编码器模型和卷积神经网络模型,另外对于基于深度学习的视频语义概念分析研究应用进行简要说明。本文结合多图正则化的优势以及图像、视频特征提取的发展需求,提出多图正则化自动编码器网络模型、基于3D卷积神经网络(3DCNN)和多图正则化自动编码器(MGAE)的视频语义概念分析模型,并且基于提出的网络模型设计实现视频语义概念分析原型系统。本文主要研究内容如下:(1)提出了基于多图正则化的自动编码器网络。由于多媒体数据如图像、视频或音频等具有多样性特征,而传统的方法不适用于对这种数据集进行多视图建模,研究如何将流形学习中的图构造方法与自动编码器结合并用于多媒体数据多视图特征表示是一个重要问题。因此在多种图构造方法和拉普拉斯图正则化自动编码器网络的基础上,提出基于多图正则化的自动编码器网络。该方法通过在自动编码器网络中嵌入多图正则化约束项,从而使得学习获得的特征能够考虑样本之间的近邻关系、关联关系和类别关系,使其具有更好的泛化能力。将该网络用于图像特征的优化学习,实验结果表明,本方法可以更好地表达多视图的特征,从而提升图像分类的准确性。(2)提出了基于3D卷积神经网络和多图正则化自动编码器视频语义概念分析模型。该模型首先构建3D卷积神经网络用于学习提取视频特征,其次构建多图正则化自动编码器对于学习获得的视频特征进一步优化,从而不仅可以获得视频的时序信息和空间特征,还可以学习获得具有关联性和多视图的视频特征,使得整个网络模型能够学习提取出更加合理和有鉴别性的视频特征,提升视频语义概念分析模型的有效性和准确性。在典型视频数据集上的实验结果表明,所提出的网络模型能够更加合理地优化视频特征,从而有效提高视频语义概念检测的准确性。(3)根据面向对象的程序设计思想采用开发语言Python以及相关附加开发库Tensorflow、Keras等设计实现了基于多图正则化自动编码器深度网络的视频语义概念分析原型系统。该原型系统由视频数据预处理、模型训练、语义概念检测三个子系统构成,系统界面简洁,操作方便,验证了本文所提出的视频语义概念分析模型的可用性。
其他文献
事务性内存(Transactional memory,简称TM)是一种非常有前景的解决多核系统中同步和并发问题的机制。然而在高冲突情况下,事务性内存性能会大幅降低。为了做出改进,目前相关
由于抗菌素对人类健康和生态环境的抗药性和抗生素发酵残留物的安全处理,从水溶液及固体菌渣中消除抗生素已成为我国亟待解决的问题。本文以β-内酰胺类抗生素头孢菌素C(CEP-C)和大环内酯类抗生素红霉素(ERY)为代表,研究了电离辐照对头孢类抗生素和红霉素的去除效率以及降解机制,考察了抗生素的去除效率以及辐照对菌渣的微生物种群结构以及蛋白质等营养物质的影响规律,探索了电离辐照联合强化作用去除抗生素和抗性
在电力系统中安装有源电力滤波器(Active Power Filter,APF)不仅能够减小负载电流对电网中各个环节的干扰,而且有效提高配电网的供电质量,保证电网中敏感负载的正常运行,提高电网运行稳定性。复合型APF能够同时实现串联型APF与并联型APF的全部功能,并且减小直流侧的储能要求,减小电容体积与成本,具有较好发展前景。在中高压配电网中,传统APF中工频变压器的引入却会增大APF系统的体积
近几年,空气污染给环境带来的恶劣影响引起人们对环境保护的重视,节能减排已成为汽车行业可持续发展的必然趋势。本文研究了不同喷油比和缸内直喷时刻对汽油机催化器起燃特性
甲苯是常见的挥发性有机化合物之一,危害生态环境和人体健康,在众多消除方法中,催化燃烧法因对甲苯具有高去除效率而得到广泛关注,催化燃烧法的关键是选择合适的催化剂。本文采用沉淀法,水热法,热分解法和浸渍法制备了CoxZr1-xO2催化剂,其中,水热法制备的CobZr1-bO2催化剂的颗粒呈均匀球状、孔结构发达、比表面积可达82.3m2?g-1、钴和锆物种分散性较好且具有一定的协同作用,从而具有更好的催
目的:通过灌胃 NaHCO3 及 H.pyloriSS1(Helicobacter pylori Sydney Strain 1)菌株建立H.pylori感染相关性胃炎C57BL/6小鼠模型,从小鼠胃黏膜病理改变情况、H.pylori的清除情
目前越来越多的应用都需要根据位置提供服务。基于位置的服务和实时定位系统的市场潜力越来越大。学术界和工业界纷纷致力于解决室内定位的技术难题,涌现出了各种各样的解决
在干旱半干旱地区的富硼土壤和涉硼企业的硼污染,对动植物的生长发育具有严重的负面影响。国外学者和我们课题组的前期研究表明,杨树可将硼富集在叶片中,适用于对富硼土壤进
现阶段我国轨道交通以及地下建设不断增加,人工冻结法被广泛应用于地层的加固和止水,但冻结法施工所面临的工程环境也越来越复杂。城市轨道交通工程在施工中也遇到各类较为棘
伴随着半导体制造工艺的进步,现场可编程门阵列(Field Programmable Gate Array,FPGA)器件的设计技术也取得飞跃性的发展。FPGA有别于传统的处理器架构,它使用硬件描述语言编