基于双网络模型的视频检索算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:LIUANQING5201314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网和社交媒体近年来得到了飞速发展,视频作为信息传播最有效的媒介,频繁出现在人们的学习、工作和生活中,至今已经产生了海量视频数据。因此,目前亟需一种快速、有效的视频检索算法对视频进行管理、分析。同时,近年来深度学习取得了突破性发展,且在图像、视频处理领域表现优异,这为视频检索问题提供了新的思路。本文结合深度学习中的两种网络模型,对视频检索中的关键步骤:镜头分割、关键帧提取和特征提取作了研究、分析与改进,取得了一定的效果。本文的主要工作如下:(1)介绍了视频检索的研究分类和发展概况,总结了经典镜头分割、关键帧提取和特征提取算法的思想、原理和优缺点。(2)针对经典镜头分割算法的不足,本文提出了一种基于深度学习的镜头分割算法。该方法提取图像的深度特征,通过比较特征之间的差异作为镜头分割的依据,相较于经典方法在光照变化、图像模糊和背景抖动等情景下能够有效避免镜头的漏检和误检。(3)本文提出了一种改进的基于聚类加权的关键帧提取算法,算法首先对镜头中的图像帧聚类,然后根据帧序号的连续性作二次划分得到最终的分类结果,接着从每个类簇中提取若干关键帧,最后根据类簇中图像帧的数量配置关键帧权重。相较于经典方法,本算法对运动镜头提取的关键帧更加准确,而且引入了权重来衡量重要性,使得关键帧的数量更为合理。(4)本文使用双网络模型构建视频图像特征的描述子。对于视频中的短镜头,算法使用卷积神经网络提取图像特征;对于视频中的中、长镜头,使用卷积神经网络提取图像特征的同时,继续使用单层长短记忆网络提取时序特征。且对应提出了适用于本特征的基于文本的相似度匹配算法。在实验环节,串联本文提出的镜头分割、关键帧提取和特征提取三部分算法,组成完整的视频检索系统。视频检索的效果好于以SIFT特征为核心的传统视频检索系统,在查全率为90%的情况下,查准率不低于82%,而且通过GPU等硬件环境加速,系统的检索时间不慢于传统方法。
其他文献
传播技术促使信息接受方式的改变,老百姓参与新闻,讲自己的故事成为新趋势。作为新闻工作者,不能止步于事实的呈现,更为重要的是对事实呈现方式的考虑。从这个意义上看,元叙事、复合叙事等模式的增多,是新闻工作者对新闻叙事认真思考的结果,其核心方式有三种,一是人人皆可注入视角、二是新闻事件中的个体皆能被聚焦、三是叙事声音相互碰撞。但同时,叙事的短板仍较明显,一方面,过度强调权威信源,叙事视角与聚焦多围绕政策
该项目的目的是全面清晰地展现我们的经营理念,不仅作为IMBA最终评估的一部分,而且因为我们坚信,这个项目值得我们投入的努力和时间。对于许多消费者来说,收包裹是一件麻烦事
病毒是是寄生性生物,完全利用细胞的代谢系统来提供能量和生物材料促进自身增殖。到目前为止,人类疱疹病毒6A型(Human herpesvirus 6A,HHV-6A)感染是否会影响宿主细胞代谢尚不清楚。在本研究中我们发现HHV-6A感染人T淋巴细胞能够显著提高葡萄糖代谢水平,表现为糖摄取、糖消耗和乳酸分泌水平的增加。在进一步机制的研究中,我们发现HHV-6A感染能增强葡萄糖转运体蛋白和糖酵解关键代谢
随着信息技术和网络技术的蓬勃发展,人们的生活和生产活动越来越依赖于各种复杂系统安全可靠的高效运行。现实世界中,绝大多数复杂系统都可以抽象为复杂网络,复杂网络相关理论的研究可以帮助人们深入了解实际复杂系统的性质和演化规律。复杂网络相关理论的研究中,重要节点的辨识已经成为研究人员关注的重点研究方向之一。辨识复杂网络中的重要节点对研究网络演化、博弈、传播与控制具有重要意义,对控制和维护现实复杂系统的运行
地址:沈阳市铁西区强工一街15号电话:+86-24-62363002/+86-24-62525527传真:+86-24-62525527电邮:zhangshaoyao@sinqi.com网站:www.sinqi.com
会议
受新冠疫情和空气污染的影响,室内运动越来越受到人们的重视。其中健身自行车凭借其高效的健身效果成为室内运动的首选,但传统的健身自行车因其枯燥的健身方式不能满足人们趣味健身的需求,因此本文研发了一种基于VR技术的健身自行车系统,将自行车运动与VR技术相结合,增加了运动的趣味性,改变了传统的运动方式,提升了使用者的运动积极性。本文对传统健身自行车进行结构上的重新设计,增加力反馈结构、转向轴、踏板保护装置
20世纪90年代以来,在治理理论中脱颖而出的善治理论受到学术界的追捧,作为政治社会学的前沿理论之一,善治理论对我国进入新时代时期推动国家治理体系现代化具有重要的指导意义。善治是一个社会治理的过程,这个过程中注重的是要将公共利益最大化。这一点与我国政府全心全意为人民服务的宗旨相吻合,并且善治的本质是还政于民,在善治的过程中有助于推动我国政府、市场、社会和群众的有效互动。本文以布依族S社区作为主要研究
近年来,随着城乡一体化的深入发展,眉山市的新农村建设进入了新的阶段,以农村自建房、农村安置区为主的新农村住宅如雨后春笋般出现在眉山片广袤的土地上。然而现阶段农村住宅的建设,在传统建筑文化传承和创新方面,由于缺乏相关理论指导,一方面过分追求建设速度与规模,漠视建筑所处的地理环境,强行挖土填方,导致建成的居住环境缺乏生机和活力;另一方面受外来文化侵入的影响严重,对场地既有文化不尊重,盲目套用城市住宅做
区域内城市的一体化发展加大了区域之间的交通需求,而区域间的公路铁路航线等是城市的“骨干”和“血脉”,同时轨道交通在城市群区域中发挥了主要交通骨干的作用。然而由于区域轨道交通内含多方式轨道,各方式之间目前独立运营,协调较差,难以充分发挥区域轨道交通系统的整体运能。针对这种情况,怎么通过协调配合区域轨道交通系统的多方式轨道交通来满足跨方式客流的出行需求是研究难点。因此本文通过对区域轨道交通动态服务网络
中国经济高质量发展需要重视资源环境问题,转变发展动力,绿色发展和创新驱动是促进经济可持续发展的科学理念和发展方式。绿色创新将“绿色”与“创新”两大发展理念融合,成为区域、企业实现长效发展的重要途径。当前东北地区面临严峻的发展问题,研究其绿色创新效率对于转换发展动力和提升环境效益具有重要意义。首先,本研究选取带有非期望产出的超效率SBM-DEA模型和GML指数法测度了2009—2017年东北地区34