视频修复中视频对齐与PatchMatch算法的研究与实现

来源 :太原科技大学 | 被引量 : 0次 | 上传用户:wuhao19881016
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频修复(Video inpainting)是指替换或重建视频信息中含有丢失或损坏部分的过程,通过使用合适的修复方法,利用已知视频帧信息去修复缺失区域,使得修复后的视频在视觉上有这着令人愉悦的观赏效果。视觉信息是人们获取信息的主要来源方式,视觉信息包括图片信息、文字信息与视频信息等。其中视频信息由于其获取的便捷性和观赏性更高,成为目前信息载体的主流方式,因此,随之共生的视频修复问题也是极其重要的。在生活的各个领域,视频修复都在扮演着举足轻重的角色,例如修复受损的老电影、去除视频中的障碍物或人、更改视频故事等。而在视频修复过程中,其中十分重要的工作就是对齐操作和图像块匹配(PatchMatch)过程。对齐精度是后续修复过程的基石,而是否匹配到正确的图像块则直接决定最终的修复效果。众所周知,当摄像机运动是绕定点旋转或者场景是平面亦或运动范围很小时,可以用全局Homography来描述摄像机运动,然而,当摄像机运动不满足这些限制时,采用全局Homography近似摄像机运动会带来较大的误差,直接影响后续的视频修复效果。在图像块匹配算法中,例如Brate force算法,一般以枚举和穷尽的方式,算法虽然简单,但十分浪费时间;而基于运动一致性的方法中对于待修复的目标图,只能在单幅图像中查找;另外一般基于优化的方法在搜索和迭代过程中只接受比当前值更优的解,容易陷入局部极小值点。针对视频修复过程中的以上问题,本文主要做了以下三部分的工作:(1)提出了一种基于局部模型对齐的动态视频修复方法;对于摄像机运动范围较大的情况,本文采用局部Homography来对齐视频帧,其中局部模型的对齐精度与特征点的数量和分布密切相关,所以本文在局部模型的估计中融合了一种基于运动一致性的对应点匹配方法,这种算法大幅度增加了特征点的匹配数量,从而提高了算法的对齐精度。实验结果表明,本文提出的基于局部模型的对齐方法提高了视频对齐精度,从而有效地改善了视频修复性能,扩大了传统视频修复方法的适用范围。(2)提出了一种基于蝙蝠优化的图像块匹配算法;本算法受图像修复思路的启发,采用启发式的思想在当前视频帧或图像库中查找最相似的图像块来填充待修复区域,该算法在传统的BA算法中构造混沌函数并构造新的位置定位系统,在搜索阶段扩展为多张参考图。实验证明该算法的修复效果比经典PatchMatch算法的图像评价指标更高,视觉效果更好。(3)开发了一个动态视频修复系统,该系统的具体功能包括,视频预处理模块、视频帧对齐模块、裁剪模块、修复模块、整合视频模块,改变视频速率模块等等,实验表明,该系统可靠性高,具有很强的实用性。
其他文献
柴油机是船舶主要的主动力设备,它具有扭力大、可靠性高、经济性优等特点,日益得到世界市场的青睐。近年来,由于我国海洋强国战略的实施,军民都需要优良的大功率船用柴油机,尤其大功率中高速机作为船舶的主机。某船舶由于需要在排气背压6.0k Pa和进气真空度4.0k Pa运行要求下,使用280mm缸径柴油机,而一般情况下船用柴油机的设计要求为排气背压与进气真空度均为2.5k Pa的工况,无法满足工况条件运行
列国崛起,皆因强大之工业。制造业的规模和水平是衡量一个国家综合国力最重要的标志之一。因此,我国大力推动制造业发展,从而缩小与发达国家的差距,增强我国制造业的国际竞争
瘿螨是世界性的植食性螨类,对农作物和园林植物造成重要的危害。吉林省的动植物物种较为丰富,目前少有学者对吉林省的螨类资源进行过系统的调查和统计。本文对吉林省的瘿螨总科进行了系统的调查分类,为更好的了解和保护瘿螨总科物种资源提供理论依据,并为吉林省瘿螨区系理论奠定基础。调查研究吉林省瘿螨分类的结果主要为:1.本文记录了吉林省瘿螨总科3科、24属、43种,种数占中国瘿螨总科的3.96%(43/1086)
新世纪以来,光网络智能化控制技术先后经历了自动交换光网络(ASON)、路径计算单元(PCE)、软件定义光网络(SDON)等多个发展阶段,光层智能管控的功能与范畴被不断扩展。在5G加速推进物联网、云计算、大数据等新兴技术发展的背景下,光网络作为重要的支撑技术,正面临新的需求与挑战,其中具体表现为:从单一的网络资源变为存储、计算、网络等多维度资源,导致资源维度进一步扩展;从光层的连接到链路、存储、计算
应急预案是突发事件的应对主体在突发事件发生之前,针对发生或有可能发生的突发事件,根据其造成破坏的严重程度,为应急准备、应急响应与救援、恢复重建等过程中的各个方面所
无线传感器网络(Wireless Sensor Networks,WSN)是由若干个传感器节点组成的分布式系统,最主要的功能之一就是数据收集。为了使WSN能够长时间地收集数据供用户使用,就要尽可能延长网络的生命周期。但是由于传感器节点的能量有限,并不能保证WSN持续不断的工作,所以延长网络的生命周期成为现阶段重点解决的问题。不管是在二维还是三维WSN中都存在网络生命周期短的问题。本文主主要针对三维
随着科学技术的进步以及5G时代的到来,人们不再满足传统二维平面显示,开始追求包含更多信息的空间三维显示效果。最初,三维显示技术需要依赖佩戴相应设备才能得以呈现出立体效果,这种使用过程中的不便进而催生出裸眼3D技术。得益于使用时便利性的优势,裸眼3D显示设备在各行各业迅速发展起来,但这类技术仍需进一步完善。四面体金字塔3D立体显示架构,利用佩泊幻像实现了四面体四个方向的立体呈现,但在该架构侧面的四个
高脂饮食是引发肥胖、脂肪代谢紊乱、“三高”等多种慢性疾病的主要因素之一。大量研究发现,高脂饮食和不规律的生活会导致非酒精性脂肪性肝病(Non-alcoholic fatty liver disease,NAFLD)的形成和发展。NAFLD已经成为慢性肝病的首要致病因素,有效防治NAFLD是医学医药领域和功能性食品领域的研究热点之一。我国1992年开始研究桦褐孔菌,据报道,桦褐孔菌具有降血糖、抗肿瘤
目前,我国人力资源管理领域的发展方兴未艾,关于该领域的文本也在不断涌入。《工作场所中的隐性不平等》一书于2018年由施普林格国际出版公司出版,内容涉及人力资源管理、医
VR电影空间给予了观众较高的自由度,观众可以自行选择想要观看的剧情方向。自由观影能够增加观众的沉浸感,但同时也会分散观众的注意力。在VR电影中设置合适的视觉引导,既能够帮助创作者更好的进行表达,也能够帮助观众理解创作者意图并获得更好的沉浸体验。目前,关于VR电影视觉引导的研究与创作大多从视觉引导的表现形式上进行分类和总结,缺乏对于视觉引导功能性需求的深入挖掘与探索。本论文致力于从视觉引导功能性的角