基于光流特征的视频时序增强研究与应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:tempman
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频时序性是视频帧序列区别于图像的一个重要特征,常视为图像级算法到视频级算法的桥梁,以提高视频算法的性能和效果。当前互联网发展,短视频成为了信息传播的主流途径,为了让用户获得更好的视觉体验,一些基于视频的处理算法越来越收到关注。基于深度神经网络的图像处理算法层出不穷,而视频的处理方式则相对简单,之前的方法没有很好的利用视频中的时序性,简单地将图像处理方法直接拓展到视频域中会带来帧闪烁问题;其次,由于精确的时序信息地提取较为困难,直接将时序特征简单的堆叠到网络中所能提升的效果不明显。区别于图像域,视频域最主要的特征在于其时序性,而作为直接刻画时序特征的光流则是被看作视频处理中最基本的信息。本文以基于光流特征的视频时序增强研究与应用为课题,从更合理的角度对时序信息进行利用和增强,在视频一致性学习任务、无监督视频目标分割任务中进行了深入的研究,其贡献如下:一、本文针对视频一致性学习问题提出了一种基于时序去噪掩码的自适应时序一致增强网络(TDMSNet)。该算法能够将学习到的时序特征利用起来缓解由于逐帧处理方法所带来的闪烁问题。首先,本研究在分析总结了现有算法的基础上,从时序维度中的去噪角度来看待时序增强的问题;提出使用对偶光流特征、运动掩码特征、精炼掩码特征来进行视频的时序性增强以及利用。该模型不受限于预处理的图像级方法,可以泛化到未见过的帧处理序列中,最终在16种不同方式逐帧处理数据集上较之前方法取得较大提升。二、本文针对无监督视频目标分割任务,提出了一种基于修复光流的非监督视频物体的分割方法(FEMNet)。为了进一步提升非监督视频物体的分割的精度,首先我们将光流特征输入到了光流增强自网络中,该网络以图像边界信息为监督,旨在锐化光流特征,缓解其边界模糊的问题。然后我们将增强后的光流特征以及图像本身特征输入到运动注意力以提取之间的互信息,最终在DAVIS-16、FBMS两个数据集上较之前方法取得较大提升。
其他文献
目的:分析预防宫颈癌疾病中使用宫颈癌筛查技术的临床价值。方法:选取江苏省宿迁市宿城区龙河人民医院2019年7月至2021年7月接受宫颈癌筛查的400例疑似宫颈病变女性为研究对象,所有患者均接受液基薄层细胞学检查(TCT)及人乳头瘤病毒(HPV)检查,以阴道镜病理检查结果为金标准,探讨不同检查方法的临床应用价值。结果:阴道镜病理检查结果显示,阳性患者占比为33.00%(132/400);TCT结果显
期刊
近些年来,基于深度学习的神经网络模型在视觉、文本与音频等多个领域展示出了非常卓越的算法性能。然而,在数据不充足的情况下设计机器学习算法,仍然是计算机视觉中的一大难点。为了解决这一问题,小样本学习的研究课题被提出,并逐渐成为机器学习中受研究者关注的热点。医学图像的难以收集,其往往是由于数据对象为某种突发疾病或不经常出现的特殊症状、数据标签需要医学专家诊断等多个原因导致的。为此,本文以医学图像分类问题
学位
中国共产党自诞生之日起,在革命、改革、建设各个时期都非常注重思想政治工作,形成了独具特色的思想政治工作理论。抗日战争时期,是中国共产党思想路线形成、思想政治工作走向成熟的重要时期。这一时期,以毛泽东为领导人的中国共产党依据中国革命战争的实际,用思想政治工作指导党与人民,实现了中国革命战争的胜利。深入研究抗日战争时期中国共产党思想政治工作,总结抗日战争时期党思想政治工作的历史经验,可以为新时代党的思
学位
随着互联网内容平台和电商等平台的兴起,互联网上的数据开始爆炸式增长,互联网用户经受着严重的信息过载问题。推荐系统作为一种解决信息过载问题的工具,是互联网中的一项非常重要的技术,同时也因为信息过载,推荐系统也经受着严重的数据稀疏性问题。各个类型的辅助信息通常被用来解决推荐系统的数据稀疏性问题,知识图谱作为一种含有丰富信息的异质图结构的语义网络,近年来被广泛地运用到推荐系统中。本文首先介绍了推荐系统数
学位
互联网和社交媒体平台的普及极大促进了人们的信息交流,通过社交媒体平台,人们可以便捷的发布和接收信息。然而,社交媒体平台上的信息并不一定总是真实的,也存在一定数量的谣言信息和不实信息。社交媒体平台上谣言的无限传播对社会产生了巨大的负面影响。为了解决这一问题,研究者们提出了许多谣言检测方法,并取得了良好的效果。然而,标注数据的稀缺和样本数据间标签分布的不均衡严重制约了谣言检测研究的进一步发展。更糟糕的
学位
随着当前中国城市化浪潮的快速推进,农民大规模进城务工现象已发展为时代主流。在当前的社会历史条件和发展维度下,农民工不仅是城市的建设者和奉献者,也是城市开发的先锋队,更是城市持续繁荣的后备军和生力军。在宏观政策引导、基层治理推动和个人能力发展的强力加持下,每一位农民工都有完全的可能性干在城市、留在城市、进而扎根城市,并逐步发展为城市的“当家者”和“主人”——即真正意义上的“新市民”。农民工群体发展状
学位
悲剧,作为西方文学的重要发端之一,从产生、发展、兴起再到衰亡的每个阶段都是学术界历来关注和讨论的焦点。悲剧在其诞生之初,就已经达到了巅峰成就,随着时间的推移和社会的发展进步,悲剧逐渐走入瓶颈阶段,不少学者也因此提出了“悲剧衰亡论”、“悲剧已死”的悲观论调,其中以尼采在1872年的《悲剧的诞生》中提出悲剧灭亡问题为起始。自尼采后,二十世纪的西方学术界就对“悲剧已死”问题开始了漫长而深刻的讨论。本论文
学位
上海是我国最重要的城市之一,并将努力在2035年建设成为卓越的全球城市。这个目标对上海基层社区治理提出了更高要求。本研究认为要想做好基层治理体系的研究与建构,必须对上海基层治理变迁有一个清晰了解,需要在历史经验的借鉴中积极探索、勇于创新,为新形势下的特大城市社会治理贡献基层智慧。本文基于研究社会主义价值引领下上海基层治理与时代逻辑之间的关系,结合中央、上海地方政府相关政策文件和上海基层治理体系建构
学位
就业是民生之本,大学生就业如今已成为我国经济与社会的一个重大问题,特别是百年未遇的新冠疫情爆发以及随之引发的全球经济衰退使这一问题更加凸显和紧迫。目前,社会各界都针对就业问题展开了多学科研究。本文试图在借鉴已有研究成果的基础上,通过梳理马克思、恩格斯、列宁和我们党主要领导人关于就业的理论和论述,并以此为指导,将大学生就业工作与“大思政”教育结合起来,按照多元、多维、协同、系统的就业育人体系要求,对
学位
“治理有效”是乡村振兴的总要求之一,而“三治融合”乡村治理体系是实现“治理有效”要求的重要方式。以社会资本理论为研究视角,结合中国乡村治理实践,提炼政党领导、社会信任、互惠规范和关系网络的分析框架,立足鄂西W村“三治融合”乡村治理体系的地方实践,研究“三治融合”乡村治理体系的生成逻辑与未来路向:发现“三治融合”乡村治理体系的生成逻辑为乡村社会资本再造为“三治融合”乡村治理体系生成提供条件,即基层党
期刊