基于图模型的多视频摘要技术研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:ssfdlah
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络视频的快速增长,用户快速准确捕获信息和管理感兴趣的视频内容的需求日益增长,工作强度越来越大。视频摘要作为一种快速感知视频数据集重要内容的技术较好地解决了此问题。传统的基于图的视频摘要算法通常将视频帧作为顶点来构建简单图模型,虽然具有较好性能,但是不能表征视频帧的复杂关系。另一方面,多视频摘要数据集具有多样性、冗余性以及噪声信息大等特点,也需要高级的图模型来对视频内容进行更好地表征。为了解决该问题,本文利用超图模型来描述帧之间的复杂高阶关系,另外借助视频的文本信息和网络图像的互补信息建模多模态图来表征视频帧之间的关系,进而研究多视频摘要技术。首先提出了一种基于超图主集的多视频摘要算法(Hypergraph Dominant Set Based Multi-Video Summarization,简称MVS-HDS)。MVS-HDS方法对预处理得到的视频帧构建超图模型并在超图模型上执行主集聚类算法,从每类中选择距离聚类中心最近的一帧作为候选关键帧;为了获得与主题相关性程度高且冗余性小的关键帧集,通过借助同一查询主题下的网络图像与视频帧之间的视觉共有特性来构建目标函数,提出一种查询相关最大边际相关度(Query Dependent Maximum Marginal Relevance,QD-MMR)方法。最后为了获得用户友好的摘要,进一步提出了基于图的局部近似排序方法(Graph-based Topical Closeness,GTC)对关键帧集进行排序呈现关键帧。其次提出了一种基于查询的加权原型分析的多视频摘要算法(Multi-Video Summarization with Query-Dependent Weighted Archetypal Analysis,简称MVS-MWAA)。该算法针对多视频摘要数据集冗余性、多样性等特点,首先利用视频的视觉信息、查询的网络图像的主题信息和文本描述信息的互补特性来构建多模态图模型;然后根据多模态图计算得到的权重矩阵引导加权原型分析方法将镜头检测获得的候选关键帧划分到不同原型集合中;最后根据原型集合和原型集合内视频帧的重要性分数来选择多视频摘要。两个所提方法在MVS1K和TVSum两个多视频数据集上进行实验分析,并与多种视频摘要算法进行了比较,验证了本文所提两类方法的有效性和先进性。
其他文献
低温冷冻水处理技术的核心是制备高纯度的冰晶,尽可能实现水与污染物的分离。然而,低温冷冻过程中,工艺条件与冰晶纯度关系仍未能深入研究。本文研究了低温冷冻结晶技术在对
随着电网规模的不断扩大,电网的运行环境也日益复杂,各种突发的电力系统停电事故无法完全避免。在停电系统恢复过程中,由于容性空载线路和大量感性负荷的投入,会对已恢复系统
量子自旋液体(QSL)是当前凝聚态领域的热点之一,它对于理解高温超导机理有着重要的意义。目前,量子自旋液体最有可能出现三角晶格、在蜂窝晶格、Kagome晶格中。Kagome晶格具有强烈的几何阻挫和量子涨落,是发现量子自旋液体最理想的材料结构,其基本性质十分具有研究意义。然而对于kagome晶格在范霍夫填充附近的电子有序相,在采用pFRG和SMFRG的计算结果之间,关于较大互作用U下是否会出现FM序
钢结构因其在地震灾害中的良好表现,以及承载力高、环保等众多优点,在国内外得到了广泛的应用。然而,在1994年美国发生的北岭地震和1995年日本发生的阪神地震中,焊接节点都发
在电力线路发生故障时,所产生的行波信号是一种多分量、非线性、宽广频带非平稳暂态信号,在一定时间与频带范围内存在大量的能反映故障点位置、故障类型、故障程度、故障持续时间等波形特征信息。单纯使用信号的时域或频域信息难以有效分析故障行波信号特征量。因此,准确、快速的对故障行波信号特征信息进行提取及分析,对输电线路保护具有重要的意义。论文首先详细分析了国内外信号的时频分析方法,总结了在针对多分量、非平稳信
随着塑料制品的广泛应用,塑料垃圾也随之日趋上升。而这些塑料垃圾最终都将进入环境中成为潜在的微塑料来源。尽管有的大塑料可以通过肉眼分辨出来源,但一些大塑料由于只是塑
甲状腺结节在临床中较为常见,随着生活节奏的加快和不良的生活习惯,其发病率也在提高。超声诊断是诊断甲状腺结节的常见方式,近年来,有一些机器学习的方法被用于甲状腺结节超
如今随着人们生活水平的提升,不仅仅满足于物质的需要,对精神文化的需求也显著提高。人们更加注重生命质量,群众的健身意识也随之大幅度提升。作为国家项目国球之一,羽毛球运
[目的]了解云南省文山州麻风的流行病学特征,探讨云南省文山州麻风的临床特点及患者死亡相关因素,为本省麻风的防治、控制麻风流行状况、降低麻风死亡率提供理论依据。[方法]
教师的指导语顾名思义就是教师对幼儿进行指导的语言,在集体活动中,教师的指导语言贯穿着整个活动,在这里我想探讨教师的指导语对教学活动有效性的影响。通过观察和实践,我发