【摘 要】
：
图像修复的目的是将图像已知区域作为先验信息,填补图像的缺失区域或者缺失像素。作为图像修复的延续,视频修复不仅要保证修复后的视频每一帧都满足空间一致性,还要保证视频序列具有时间一致性。传统的视频修复算法虽然取得了一定的修复效果,但大多忽略了视频序列的连续性和相关性,且只能处理缺失区域较小的情况,同时不能应对复杂和多变的场景。随着深度学习的发展,视频修复的效果也得到了进一步提升。在最近的研究中,不少研
论文部分内容阅读
图像修复的目的是将图像已知区域作为先验信息,填补图像的缺失区域或者缺失像素。作为图像修复的延续,视频修复不仅要保证修复后的视频每一帧都满足空间一致性,还要保证视频序列具有时间一致性。传统的视频修复算法虽然取得了一定的修复效果,但大多忽略了视频序列的连续性和相关性,且只能处理缺失区域较小的情况,同时不能应对复杂和多变的场景。随着深度学习的发展,视频修复的效果也得到了进一步提升。在最近的研究中,不少研究者引入Transformer模块,使得视频修复的效果较之前有更明显的提升。这些研究工作利用Transformer获取离待修复视频帧更远距离的参考帧信息,虽然增强时间一致性达到更好的修复效果,但是却让视频修复的修复效率大大降低。针对以上问题,本文所做工作有:1.提出基于SENet的视频修复网络。受限于普通卷积的感受野大小,模型不能提取到全局的通道信息。因此,本文提出基于SENet的视频修复网络,利用SENet获取全局的通道权重性系数,并利用3D卷积提取相邻视频帧间的时空信息,从而确保网络模型可以学习到更有效的特征而减轻无效特征的影响。虽然基于SENet的视频修复网络可以起到一定的修复作用,但大部分的修复结果都是模糊的,原因在于深层网络会导致边缘、纹理等低级语义信息的丢失。基于此,本文又提出基于混合编码器的视频修复网络。通过3D卷积和3D空洞卷积组成的网络支路获取待修复视频的时间和空间信息,利用由2D卷积组成的浅层网络支路获取待修复视频的低级语义信息,两条支路互相弥补待修复视频的上下文信息,最终经过由四层卷积网络构成的解码器端输出。为验证网络加深对实验结果的影响,本文还进一步进行实验。实验结果表明,本文设计的混合编码器网络结构可以得到较好的修复效果,同时加深网络后,视频修复效果在定量指标和视觉感受上得到进一步的提升。2.提出基于混合编码器的Transformer视频修复网络。虽然上述工作都取得了一定的修复效果,但离高质量的视频修复还有很大的差距。因此,本文在基于混合编码器的视频修复网络结构基础上,结合现有方法中的Transformer模块进行定性和定量实验。实验表明,在对比的方法中,该模型可以在保证视频修复质量相差不大的情况下,明显提升视频修复的速度,实现每秒钟修复33.12个视频帧。
其他文献
＜正＞腰痛伴神经根性疼痛又称为腰腿疼痛、下背痛、下腰痛等，是临床上常见的一种症状，也是成年人致残的常见原因，其终生患病率为40%～60%[1]。腰痛伴神经根性疼痛按病程持续时间分为急性、亚急性和慢性，患者通常使用按摩、针灸等非药物治疗，目标是快速缓解症状[2]。对于非药物治疗无法缓解疼痛的患者，建议使用非甾体类抗炎药镇痛。然而，临床上慢性、顽固性腰痛伴神经根性疼痛并不少见，常见于经过健康教育、心理
目的:本课题旨在通过研究中文社交媒体（“百度贴吧”和“新浪微博”）与近视相关的发帖、回帖、评论和微博,应用深度学习技术进行情感倾向分类以及文本分类,并结合词频分析,了解在不同主题分类下不同社交媒体平台用户的情感需求以及关注重点,探索社交媒体对传统医疗服务的促进和补充作用。方法:本研究为回顾性研究。使用网络爬虫爬取收集贴吧的“近视吧”的用户的发帖、回帖和评论以及包含“近视”关键词的微博,筛选出201
咪唑类离子液体由于其卓越的介电性能与柔性易加工的特性,正成为一类强开发性的新型柔性吸波材料,在构建微波段吸波器件这一过程呈现出特有的优越性。为满足提高吸波器有效吸波带宽与吸波器可实物化的要求,本文选用咪唑类离子液体作为吸波材料。本文提出并制造基于咪唑类离子液体的超带宽交叉架构吸波器,该吸波器使用交叉架构,在两种单一单元结构的有效吸波带宽大致互补的状况下,可通过交叉架构设计出复合单元结构,其有效吸波
目的:年龄相关性黄斑变性（AMD）是一种病因不明的多因素的发达国家老年人中最主要的致盲疾病。氧化应激（OS）反应与年龄相关性黄斑变性的病理进展有关。然而,关于OS相关基因的生物标志物在AMD中的潜在诊断价值知之甚少,而且其在AMD免疫微环境的相关性尚未被研究。因此本研究通过一系列生物信息学分析构建OS基因相关诊断模型,并研究OS基因相关亚型在调节AMD免疫微环境的相关性。方法:通过健康对照与AMD
太赫兹技术在许多应用领域具有广阔的应用前景,但在太赫兹波段缺少具有突出特性的功能器件是阻碍实际应用的关键问题。为了解决这个问题,将超表面引入了太赫兹中,超表面在工作波长下其结构尺寸比传统的光学元件小得多。以前研究中超表面结构一旦制造出来其功能就很难改变,比较单一。对此,已有学者将超表面结构与二氧化钒（Vanadium oxide,VO2）等活性材料相结合,从而实现多功能超表面结构。本文主要以太赫兹
目的:利用基于卷积神经网络（Convolutional Neural Networks,CNN）的新算法测量OCT图像中黄斑裂孔（Macular Hole,MH）及其周围黄斑囊样水肿（Cystoid Macular Edema,CME）的多维度形态学参数,探索病灶间、病灶与视力间的相关性,建立预测术后视力的模型。方法:本研究是回顾性病例系列研究,纳入2016年6月-2020年6月在汕头大学·香港中
目的:分析调节引起的眼部生物学参数变化在近视和非近视学龄儿童身上的差异,探索儿童近距离工作产生的调节与近视发展的关系。方法:本研究共纳入20名近视学龄儿童（男性10名,女性10名,年龄11.4±0.94岁,等效球镜度数-1.55±0.77D）和14名非近视学龄儿童（男性5名,女性9名,年龄10.6±1.3岁,等效球镜度数0.54±0.29D）作为试验受试者,左眼为受试眼。使用自行搭建并安装在非接触
目的:常染色体显性遗传性视神经萎缩（autosomal dominant optic atrophy,ADOA）是一种主要为视网膜神经节细胞变性伴上行性视神经萎缩导致的遗传性视神经病变,是目前最常见的视神经萎缩疾病。本研究通过收集临床诊断为ADOA家系的临床信息建立数据库,采集家系成员及对照组人群的外周血并提取基因组DNA样本,通过全外显子组测序方法筛选鉴定候选变异位点,并对突变位点进行功能研究。
混沌系统具有非常好的初值敏感性、不可预测性以及类随机性等复杂的动力学行为,在保证加密的安全性和效率上有着很大的优势,被广泛的应用在保密系统领域。但是目前的混沌图像加密算法仍然具有一些缺陷,如窄的混沌参数区间和序列的低复杂度,使得混沌系统的状态易于被预测。基于此,本文对于混沌图像加密算法进行研究,一方面,通过对现有混沌映射的复杂动力学行为进行改善,进一步提高系统的混沌性能,保证图像加密算法的安全性。