基于卷积神经网络的镜头边界检测和视频标注

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:bigjohn6120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着媒体数字化技术和网络技术的发展,网络视频数据呈爆炸性增长,如何对海量视频资源进行有效的分析和管理已经成为当前研究的热点。镜头边界检测(shot boundary detection)和视频标注(video annotation)是视频内容分析的关键性步骤和技术难点,镜头边界检测和视频标注的准确与否直接影响到视频内容分析的结果。近年来,学者们对镜头边界检测做了深入细致的研究并提出了很多检测方法,这些方法在对渐变镜头边界的检测方面存在着各种不足:其中一些方法效果不够好,在检测过程中容易受到亮度突变和物体移动的干扰,另外一些方法算法复杂度过高导致其无法被广泛应用到实际问题中去。本文提出了一种基于镜头边界候选段选择和卷积神经网络的镜头边界检测算法,可以有效的检测出渐变镜头,并且具有较好的实时性。本文在镜头边界检测方面的主要研究成果如下:优化了镜头边界候选段选择,本文从特征选取,局部阈值法和二分处理这三个步骤上对原方法进行了优化,以确保包含镜头边界的候选段尽可能多地被正确检测出来。将最新的深度学习技术应用到镜头边界检测技术中,使用卷积神经网络来提取静态帧的高层特征,并将之用在镜头边界的判断上,实验证明这种方法不仅可以有效的检测出渐变镜头边界而且耗时较少,弥补了已有的镜头边界检测方法的不足。视频标注被认为可以很好地弥补视频底层特征和用户检索视频所使用的高层语义信息之间的“语义鸿沟”。它能够根据视频的内容给视频标注上关键字,是视频检索系统必不可少的一部分。传统的视频标注方法依赖于人工设计的特征提取方法(HOG,SIFT等),特征的数量和质量成为传统标注方法性能的瓶颈。受到深度学习可以自动提取出多层特征的启发,我们将深度学习应用到视频标注中来提升标注的准确性。本文在视频标注方面的主要贡献在于:提出了一种基于卷积神经网络的视频标注算法框架。研究了如何将深层网络应用到实际问题中,主要研究了4种方法:1.通过语义相似度利用已有网络来给静态帧做分类;2.训练一个新的网络;3.对已有网络做fine tuning;4.只对已有网络的全连接层做fine tuning。实验证明,本文提出的视频标注方法在性能上相比于传统的视频标注方法有较大的提升。
其他文献
目的:本研究采用随机对照的临床实验研究方法,通过对比参归仁合剂联合氨甲环酸与单用氨甲环酸治疗黄褐斑后皮损状态评分,评估参归仁合剂医治黄褐斑的临床疗效性与安全性。以
背景和目的抑郁症(major depressive disorder,MDD)是最常见的精神疾病之一,其特点为情感低落、兴趣缺失、活动减少。青少年抑郁会导致其产生亚健康心理,并可能导致不良事件
目的评价舌三针配合点刺咽后壁治疗中风后呛咳的临床疗效。方法根据纳入标准在临床中选取84例中风后呛咳的患者,按随机数字表分为两组,每组42例。试验组采用舌三针配合点刺咽
2016年,杜特尔特当选菲律宾总统后,以其犀利的言辞、硬朗的执政风格而受到广泛关注。美菲同盟作为菲律宾外交关系中最重要的组成部分,在杜特尔特执政后出现了比较明显的变化
背景骨髓增生异常综合征(Myelodysplastic Syndrome,MDS)是一组来源于造血干细胞的髓系恶性肿瘤,其特征有骨髓细胞形态异常,无效造血导致血细胞减少,克隆不稳定和向急性髓系
光电化学(PEC)免疫分析,作为一种新兴的分析方法,由于其灵敏度高,背景低,特异性高,已被广泛应用于各种蛋白质和肿瘤标志物的检测,这是因为免疫识别和激发光与光电化学信号的完全分离。然而,与电化学和荧光技术相比,PEC免疫测定研究仍处于早期阶段,面临着一些局限性,如复杂的修饰步骤,较差的光电转换效率和光活性材料的稳定性。为了解决这些问题,我们主要从以下三个方面开展工作:1.利用酶生物催化沉淀反应以抑
目的:桥本氏甲状腺炎(Hashimoto’s thyroiditis,HT)是一种临床上常见的慢性自身免疫性疾病,其病理损伤主要表现为甲状腺滤泡上皮细胞及甲状腺滤泡腔的受损,导致甲状腺相关自
宽度主要研究某个集合在一定意义下的最佳逼近问题,是逼近论的一个重要研究方向。被逼近集合主要包括抽象空间中的点集合和一些重要的函数类,随着学者们研究的深入,有限维空
背景:神经痛在临床上很常见,因发生机制尚不清楚,尚缺乏有效的治疗手段。神经系统的敏感性升高是神经痛的重要发生机制。近年来发现GABA重摄取系统即GABA转运蛋白可能参与了
多时间尺度耦合效应广泛存在于工程与科学各个领域,具有广泛的应用背景,是当前国内外研究前沿和热点之一。多时间尺度耦合会导致系统更复杂的非线性行为,尤其是其中的簇发振荡现象。因此,探讨多时间尺度耦合系统存在的簇发振荡及其产生机制具有深远的意义。本文以两类多时间尺度耦合系统为例,分析不同的条件下系统动力学的演化行为,主要内容如下:首先,在一个三维混沌系统中引入单个参数激励,然后调节系统参数,使激励频率与