基于内容的视频片段检索

来源 :浙江大学 | 被引量 : 0次 | 上传用户:jly1211
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今,拍摄设备和社交网络的普及加速了视觉媒体内容的生成和分享,尤其是视频。视频片段检索应运而生,具有广阔的应用场景。本文研究了基于内容的视频片段检索,即给定查询内容和一个未裁剪的视频,视频片段检索任务需要在视频中定位出一个片段,使得该片段的视频内容精确地匹配于给定的查询内容。当前解决该问题的模型可以分为两类。1)自顶向下的方法:该方法首先将视频分割为一组候选片段集合,对候选视频片段集合进行分类和回归,从中找到与查询内容最相关的视频片段。2)自底向上的方法:该方法直接预测每个视频帧作为起始和结束边界位置的概率。但是,这两种方法都有很多局限性:当候选视频片段数量较多时,前者的计算量非常大;后者虽然计算效率高,但精度落后于前者。本文针对现有的自底向上模型的不足之处做出了改进,构建出本文的视频片段检索模型。本文的主要研究内容归纳为以下两个方面:1)出了一种密集型自底向上框架:DEBUG。DEBUG通过骨干网络融合特征之间的交互信息,增强了融合特征表示。使用头部网络预测每帧与查询内容的相关性,对每个前景帧预测其到两端时序边界的距离。该方法将落入真值区域中的所有帧视为正样本,采用了更多的正样本进行训练,减轻了当前模型存在的正负样本不平衡的问题。此外,我们还出了一种简单高效的时序池化方法,综合考虑了多帧的预测结果,避免了基于单帧预测的不稳定性,使结果更加准确。2)出了一种基于图特征金字塔的视频片段检索方法。通过引入图特征金字塔网络,更好地适应了密集型自底向上的框架。网络首先将构造的多尺度特征金字塔映射到一个语义空间中,利用图卷积来探索不同语义特征之间的内在联系,有效融合不同尺度的特征,增强了骨干网络的输出特征。本文在四个具有挑战性的公开数据集(TACoS、Charades-STA、ActivityNet Caption和Activity-VRL)上进行了大量实验。结果表明,本文出的两个模型不仅在性能上超越了最先进的自顶向下模型,同时可以保持自底向上模型的定位速度。
其他文献
在当今世界全球化、市场化和信息化的大背景之下,越来越多的国家更加重视自身的意识形态建设,创造并不断完善符合本国国情并能对民心起到稳固、聚拢的一套价值体系。随着我国综合实力的增强以及在国际地位的显著提高,中国的发展受到越来越多外界的关注,尤其是自媒体时代的到来,越来越多的外来社会思潮涌入我国,于是社会主义核心价值观在党和人民的不断实践中应运而生。而话语传播是社会主义核心价值观传播最基础、也是最重要的
当前,我国政治经济改革进入深水区,为了推进改革持续深入,释放改革红利,政府需要尝试新的手段规范权力的运行,促进市场经济的发展。在这个背景下,党的十八届三中全会明确提出“推行地方各级政府及其工作部门权力清单制度,依法公开权力运行流程”。权力清单制度成为完善权力制约与监督的创新型举措。权力清单制度以清单的形式明确清楚的列明行政行为哪些可以作为,顺应了建设法治型政府的要求。权力清单制度从提出以来,就广受
苏里格气田西区的主力产气层为盒8段储层,属于典型的致密砂岩储层,具有特低孔-超低渗的物性特征。本文充分利用前人研究资料,对研究区的基本地质特征、沉积环境、成岩演化过
随着俄国近代化的发展,俄国社会矛盾不断显现。俄国知识分子开始思想新的国家发展道路,希望通过改革的方式解决社会问题。其中,民主立宪的呼声最高,他们主张以法律的形式确保公民自由并对行政机关的权力加以限制。这一主张最终在1905年革命爆发以后被沙皇采纳,用以避免更激烈的革命活动。沙皇做出的这种被迫的让步的最大成果就是《十月宣言》的宣布。该宣言表示群众有结社集会的自由,政党自此正式由幕后走向台前。俄罗斯人
本文立足于HY中等职业学校美术专业的现状进行分析。运用SWOT分析法,分析HY中等职业学校美术专业发展的优势、劣势、机遇及威胁,从过程管理、业务管理、质量管理及监控管理等方面构建HY中等职业学校美术专业教学管理指标体系。运用层次分析法确定各指标权重,采用模糊综合评价法评价等级,结果表明HY中等职业学校美术专业教学管理综合评价等级为“中等”。通过对HY中等职业学校美术专业教学管理进行综合评价,系统分
移动目标检测与跟踪技术作为计算机视觉应用技术的一个重要分支,其目的是实现对监控区域内的移动目标进行实时连续的视频采集与检测,并将这些用户感兴趣的信息存储起来作为分析现场状况的重要依据,以达到主动监控、节省资源、提升监控效率的目的。本文的主要工作总结如下:(1)为了解决目标检测过程中出现的“空洞”与“双影”问题,用三帧差分法改进帧间差分法;采用混合高斯模型选取合适的阈值进行背景建模,使得背景的适度变
齿轮渐开线样板是用来校准齿轮渐开线测量仪器的标准计量器具,主要用于传递渐开线参数量值、修正仪器示值和确定仪器示值误差,是渐开线加工与测试的基准。我国齿轮渐开线样板
目的:比较ERCP在肝门胆管癌所致梗阻性黄疸治疗中,使用金属支架或塑料支架后的术后胰腺炎发生概率、减黄速度及支架再堵的时间从而探究金属支架及塑料支架在该治疗方案中的治疗效果差异,进一步探究金属支架及塑料支架的选择适应症。方法:回顾分析61例因肝门胆管癌所致梗阻性黄疸就诊于我院并行ERCP支架治疗患者,通过分析术后胰腺炎发生概率、减黄速度、支架再堵的时间等数据,将减黄速度与支架类型及支架释放位置行S
通过加氢异构化反应将汽油中的烯烃转化为异构烷烃,可有效解决烯烃含量降低带来的辛烷值损失的问题。本文在不添加介孔模板剂的情况下,通过水热合成法直接合成具有纳米晶堆积
核心价值观是国家重要的稳定器。我们可以看一个国家和社会发生了变化动荡和巨变,最主要的原因是社会的核心价值发生颠覆性变化。“富强、民主、文明、和谐,自由、平等、公正、法治,爱国、敬业、诚信、友善”是兼具中国特色和普世价值社会主义核心价值观,分别从国家发展层面深入回应了要建设什么样的国家、在社会构建层面回应了要建设什么样的社会、在公民养成层面回应了要培育什么样的公民的三个重大问题,凝结了全体人民共同价