用于生成快速预览信息的视频概览框架及其系统实现

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:qq664374004
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的普及和人们娱乐方式的改变,观看在线视频成为现代人日常生活中重要的一环。近年来,网络视频资源大量累积,视频平台用户需要一种可以快速浏览视频内容的方法,帮助他们节约视频筛选的时间成本。现有的视频概览方案主要包括视频总结和视频描述,但前者生成的短视频在观看时仍较耗时,而后者生成的文字描述则较浮于表面。论文针对现有的视频概览方案和相关视觉技术进行了研究,并综合多项技术提出了可自动生成概览的视频概览生成框架。论文提出的视频概览框架主要针对以人物为核心,有一定故事背景的视频类型。该框架可分为视频流预处理和视频概览生成两个阶段:第一阶段以流的形式从视频中提取人体框、人脸框、人物轨迹、视频镜头等视觉信息;第二阶段利用得到的视觉信息提取出视频中的场景和人物,并最终生成场景-人物图片对作为视频概览。其中,一部分方法经过分析对比后使用了现有的技术成果,另一部分方法则由论文首次提出。其中,核心的人脸聚类方法和场景检测方法由论文提出,相比其他同类方法具有更高的性能和可泛化性。为了展示视频概览框架在真实视频上的实验结果和使用场景,论文中还提出并开发了一个DEMO应用,该应用的主要功能包括上传视频、查看全部概览、检索视频、点播精彩场景、管理主要人物和场景等。论文框架生成的视频概览可泛化性高、方便快速阅读,为视频平台用户节约了筛选内容的时间。论文的主要研究内容和贡献如下:(1)提出了一个新的视频概览形式和生成框架,用于帮助用户快速浏览视频内容。视频概览以人物-场景图片对的形式概括原视频内容,如果场景中没有人物则仅展示场景图片。该方法比视频总结、视频描述等方法更简单明了,且具有高可泛化性。(2)提出了一个新的人脸聚类方法,用以自动识别视频中的人物。该方法基于一个严谨标签传播算法,并利用了视频人物轨迹具有连贯性的特点,以轨迹为基本单位进行标签迭代,在真实视频的数据集上体现出了比其他主流算法更好的性能。(3)提出了一个新的场景检测方法,用以将视频分割成场景。该方法综合运用了视觉和听觉信息,通过空间聚类、时间聚类、逻辑聚类和声音聚类四个步骤将原视频切割成场景。通过在真实视频数据集上的实验,证明新的场景检测方法可以从三个不同方面提高场景检测效果,并具有高可泛化性。(4)开发了一个展示视频概览框架的WEB应用。该应用可用于展示视频概览框架在不同类型视频上的实验结果,同时可体现出该框架的实用价值。
其他文献
Spark是基于Map/Reduce计算模型进行大规模数据处理的分布式系统,每个任务都会被分为很多Map处理和Reduce处理在各个节点上并行执行。Shuffle操作是用于连接Map处理和Reduce处理的桥梁,会产生大量的网络传输开销和磁盘I/O开销。Spark定义广播阈值参数,对于参与Join的其中一表数据量小于该阈值的场景,使用Broadcast Hash Join算法执行Join操作,避免
目的:1.评价胃癌患者脑功能状态指数分布特点以及其可能对术中丙泊酚用量产生的影响,借此明确胃癌手术期间丙泊酚适当的剂量。2.评估镇痛指数(PTi)监测下瑞芬太尼靶控输注在腹腔镜胃大部切除术中的临床效果,证明其在维持机体镇痛深度方面的优越性,用于临床指导用药。方法:1.胃癌患者脑功能状态认知指数监测特点及其对围术期丙泊酚使用量的影响。收集在全凭静脉麻醉下行腹腔镜胃大部切除手术治疗患者70例,其中胃癌
近年来,随着便携式、可弯曲、可穿戴和可折叠式的柔性电子器件的快速发展。开发一种可持续能源设备(如锂离子电池、超级电容器和太阳能电池等)以满足这些电子器件的动力需求
水稻是我国种植面积最大的粮食作物,种植面积约占粮食作物面积的30%。水稻生长于高温多雨的季节,稻田环境湿润,病虫草害严重,农药施用量高,加之水稻农事操作的需要,稻田水需
吕德安在“第三代”诗人中表现得相对安静,这与诗人淡泊的天性有直接关系,他鲜于露面但诗歌广为流传。从上世纪七十年代末至新世纪以来,吕德安保持良好的创作势头,写下三百余首诗作。他的诗歌写作是基于个人生活经历,融合多方面诗学经验的实践,主要包括对生命的感知,对生存家园的回望,以及源于时代社会而发出的精神反思。早期创作吕德安受洛尔卡诗歌及中国民谣的影响探索出了一条谣曲之路,舒缓的节奏,恬淡的诗风使他在诗坛
电力系统是国家能源体系的核心,其能否安全运行关系到国家的战略安全,而高压断路器作为电力系统中重要的电气设备之一,对电力系统安全可靠运行有着重要影响。因此,如何高效准
作为城市的基本单元,社区在防灾中起着至关重要的作用。深圳市城中村作为城市高速发展的特殊产物,防灾问题尤为复杂。因此在城市发展模式转向存量优化的契机下,针对城中村社
长江上游是生物多样性丰富区,也是长江特有鱼类栖息的生态敏感区。中华纹胸鮡属鲇形目(Siluriformes)、鮡科(Sisoridae)、纹胸鮡属(Glyptothorax),是一种小型底栖鱼类,对生存环境有
作为台湾海洋文学代言人的夏曼·蓝波安,于90年代初进入文坛,此后迸发出非凡的创作力和持续的影响力,他的作品被翻译成多种语言出版,受到了许多海内外学者的好评。本文以“生态叙事和文化建构”为支撑,以夏曼的个人经历和台湾的政治文化为背景,在解读文本的过程中探索夏曼的文学创作与民族文化、生态危机之间的关联。第一章主要以“文学生态位”为切入点,分析“童年生境与历史记忆”、“传统信仰与地域文化”和“社会运动与
岩块纵波波速是反映岩块物理性质、内部节理裂隙发育情况、岩体完整程度的一项重要参数,准确测得岩块纵波波速是岩石力学领域亟需解决的一项工作。《工程岩体试验标准》中提