视频关键内容提取和摘要生成

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:w_wallace
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能移动设备的不断普及,人们为了捕捉特殊时刻或记录日常生活,每天有大量的视频产生,并且上传到互联网上。但是,许多用户在拍摄过程中都是先拍摄,后剪辑,或者,根本不剪辑就上传到了网络。普通的视频上传者也很少考虑帮助其他用户快速检索到自己的视频,换句话说,他们在上传视频的过程中,很少考虑对视频的主要内容进行描述。比如,通过视频文字标题,视频类型和内容标注等方法描述视频主要内容,进而帮助其他用户快速检索到目标视频。为了使没有辅助信息的视频能够有效的被其他用户检索,视频内容识别技术在视频检索中扮演了重要角色。现有的视觉识别技术已经比较成熟,但是,视频内容识别技术因为视频信息冗余性高,给计算资源造成了很大的负担。因此,在视频内容识别之前,需要先利用视频关键内容提取技术,减少视频的冗余性,提高视频内容识别技术的效率。视频关键内容提取作为视频内容识别的预处理算法,对视频内容识别的计算效率起到了决定性的作用。视频关键内容是指在原视频中抽取一系列视频帧或者视频关键片段,这些视频帧和视频片段能够简要的表达整个视频内容。因此,把原始视频减少为一些静止的图片的过程称之为视频关键帧抽取,视频关键帧主要应用在视频封面选取,视频内人物,物品等目标的识别。同时,把原始视频减少为一些视频片段的操作称之为视频摘要,视频摘要主要应用在视频浏览和动态摘要等视频片段信息的提取。本文针对视频关键内容提取问题,提出了一种视频关键帧抽取方法和两种视频摘要生成方法。本文主要的研究内容如下:(1)为了从原始视频抽取出更加清晰和具有代表性的关键帧,本文提出了基于视频内容边缘追踪的关键帧抽取方法。该方法基于传统的边缘追踪分镜头检测,提出了边缘变化率最大池化和边缘变化率差异性分析方法,解决了相邻视频帧之间的边缘变化率突变和误检的问题,使视频内容突变点的检测更加稳定和准确。并且,为了在每个镜头中抽取出最具有代表性和最清晰的关键帧,本文定义了一个静止系数,衡量视频帧之间的变化情况,进而抽取出最具代表性和最清晰的关键帧。实验证明,该方法可以在较低的时间和计算复杂度的要求下,快速的抽取出包含人像,物品等包含目标信息的关键帧。(2)本文提出基于自注意力机制的视频摘要生成方法,该方法借鉴自然语言处理处理领域对时域信息建模的方式,提出通过自注意力机制对视频的时域信息构建视频帧序列之间的长依赖关系,也就是建立视频帧之间的特征关系。该方法通过自注意力机制网络对视频全局特征进行学习,在时序上探究视频特征的区别和联系,最终,使视频的特征分布趋近于视频摘要的真实值,进而抽取出视频中的关键片段。(3)本文提出基于视频文相关性的视频摘要生成方法。该方法提出一个视频文相似性学习网络,该网络借助视频的文本标题,通过学习视频的视觉特征和视频标题的文本特征的相似程度,引导视频视觉特征和标题文本中的场景、目标、动作等描述分布一致,构建一个视频文空间,达到聚合相似语义视觉信息的目的。使视觉特征达到文本特征相似的可信赖的程度,然后使用聚类的方式,有效的合并具有相似语义的视频内容,降低视频的冗余信息,最终生成视频关键内容。
其他文献
基因支持着生命体的基本构造和功能,但对于某个生物体的全部基因来讲,其中只有一部分是在一定条件下维持其生命活动所不可或缺的,通常这部分基因被称为必需基因,在生命进化和医药研发等领域具有更重要的意义。当前高通量测序技术的不断发展导致DNA序列数据迅猛增长,而相应的基因注释工具也不断涌现,特别是对细菌的基因组注释已较为成熟,愈发精准和快捷。然而在必需性注释方面,尚缺乏既能满足高通量处理需求、又对必需性判
锂离子电池中的负极材料主要采用石墨类碳材,传统的石墨电极,其较低的理论比容量(372 mA h g-1)和能量密度(1-10 W h kg-1)难以满足如今的市场需求。而作为与碳元素同一主族的硅元素正凭借其高理论比容量(3572 mA h g-1),丰富的资源,生产成本低以及较低的电压平台等特点成为锂离子电池负极材料中有望代替石墨的最具潜力的材料。但硅材料同样存在着某些缺陷,如离子、电子导电率较低
水生态文明城市建设是城市建设重要的发展方向,商业银行作为非政府性投资的市场主体,在水生态文明城市建设方面发挥了巨大作用。但在实践中,水利建设资金需求大、建设周期长、运行效率低,风险缺乏有效地跟踪、计量,商业银行放贷积极性不高,对水利建设的资金投入不足,制约着水生态文明城市建设的发展。本文结合水利项目建设特点,研究水生态文明城市建设下水利项目的信贷风险控制及信贷策略。本文对聊城市水生态文明建设情况进
在生产制造过程中,经常需要多个技能人才共同合作完成生产目标,即进行联合加工。联合加工是联合行动中的一种特殊现象,在联合行动中,二人组是最基本的团队类型。相似吸引理论认为,团队成员认知风格的一致性可能会影响任务冲突与团队绩效的关系,即个体的认知方式可能影响联合行动。那么,不同认知方式的技能人才在联合行动中的共同表征能力是否存在差异?高技能人才和一般技能人才的共同表征能力是否存在差异?这种差异具体表现
随着交通需求和机动车出行量的快速增长,城市交通问题成为中国大城市不得不面临的难题,而拥堵则是最为典型的交通问题。交通拥堵导致了出行效率低、尾气排放增加等一系列问题。道路收费,作为交通需求管理的一种经济手段,能够调节交通需求,优化出行结构,成为各城市和地区普遍采用的用以缓解交通拥堵的方法。然而,道路收费政策的制定具有较高的复杂性,它既需要对出行者的出行决策有清晰的认知,也需要考虑不同的系统目标,道路
限制性股票激励作为长期激励方式,弥补了薪资和奖金等短期激励的不足,防止激励对象机会主义行为的滋生,净化企业内部投融资环境,为股东创造更多的财富。然而在中国上市公司中实施限制性股票激励是否发挥了长期有效性还没有得到统一结论,仍需更多的研究丰富现有理论。本文采用倾向得分匹配法(PSM)从长期市场角度研究限制性股票激励的实施效果,经过倾向得分匹配后共获得543组对照实验样本,并选取5年时间(0-60月)
近年来,随着温室效应问题的日益严峻,碳排放逐渐受到社会各界的注意。面临高碳排放量所带来的减排压力,2015年巴黎气候大会上中国政府提出到2030年中国的碳排放强度将比2005年降低60%-65%。要在不影响社会经济正常发展的基础上完成碳减排承诺,需要制定科学、合理有效的碳减排政策。本文从区域碳排放现状入手,构建碳排放权初始配额分配模型,得到各区域2005-2030年区域碳排放权初始配额,并利用基于
磷光铱配合物由于具有优异的光物理性能被广泛的使用到各种光功能应用领域,尽管如此,由于缺乏特殊、有效的官能基团以及新颖的配位模式,目前还存在配合物结构类型单一,发光性能欠佳等问题,本论文将巢式碳硼烷基团设计成各种新型的有机配体,并将其应用到具有各种配位模式的磷光铱配合物体系中,从而合成了一系列含巢式碳硼烷单元的新型磷光单核和异核铱配合物,并对其进行结构,激发态和光物理性质的研究。本论文具体研究内容主
近年来,福建海洋经济迅猛发展,大批涉海工程纷纷上马,基础设施如高速公路(含桥梁)、港口、城市群扩建、房地产业的发展等,这些工程建设均需要大量的砂石材料才能进行,建筑用
随着智慧矿山等数字化概念的提出,如何获取井下的三维信息,从而完成巷道三维重建,达到井下生产的可视化,为矿井的安全生产提供强有力的技术保障是亟待解决的问题。三维激光扫描技术具有无需接触被测物体的特点,可安全、快速、准确地测量出物体空间信息。将三维激光扫描技术引入矿山三维重建研究中,弥补了传统的测量手段无法精确获取井下三维信息的问题。但是获取测量点云数据较大,在三维重建时有着一定困难,地层模型缺少内部