基于可变形卷积网络的视频去模糊算法

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:kfc1206
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
相机抖动、目标运动和景深变化等原因会导致设备拍摄的视频中存在模糊。而模糊的视频会影响人类视觉感官质量和高层次的视觉任务。视频去模糊是一项具有挑战性的任务,其通常分为四个阶段:特征提取、相邻视频帧对齐、特征融合以及特征重建。本文的研究思路是利用相邻帧中的清晰像素融合参考帧中的对应像素,充分挖掘输入视频序列中的时空信息。实现该思路,需要解决两个最关键的问题:相邻视频帧精确对齐和自适应时序特征融合。针对这些问题,本文提出了两个递进式的解决方案。第一个工作,我们提出了基于多尺度可变形卷积网络的视频去模糊算法,提升了相邻帧对齐的准确性。它在相邻帧特征层面执行隐式对齐,解决了传统光流估计对齐不准确、计算量大的问题。我们首先通过实验验证了特征对齐比图像对齐具有更好的结果。然后提出了基于多尺度可变形卷积网络的隐式特征对齐模块,它利用可变形卷积的几何形变建模能力结合多尺度策略实现了从粗略到精细的特征对齐。对齐后的相邻帧特征和参考帧特征,在相同空间位置处具有对应的时序关系。所以特征融合阶段中使用11?卷积网络进行通道维度的时序特征融合,然后利用卷积层和残差块组成的网络进一步融合特征。第二个工作,我们提出了基于自适应时空卷积网络的视频去模糊算法,进一步提升了相邻帧对齐的准确性并且极大地提高了时序特征融合的效率。我们改进了可变形卷积,提出一种新的卷积计算方式Dcn Align。它将光流作为基础的位置偏移,并通过卷积网络生成残差偏移,解决了第一个工作中对齐网络训练不稳定、位置偏移值溢出的问题。特征融合阶段,基于动态滤波网络提出了动态局部滤波层,它具有特定于输入和空间位置进行局部特征变换的能力,实现了利用相邻帧中的清晰特征对参考帧中的模糊特征做自适应地像素级融合。我们将这两个算法在公开数据集上进行了定量评估和定性测试,实验结果表明算法具有非常高的准确率,可以有效去除动态场景存在中的非均匀模糊。
其他文献
我国经济目前已经开始步入新常态,以往的发展路径如:人口红利,资本积累,出口依赖等发展模式的可持续性存在较大的问题,如果经济需要接着高质量可持续的发展,稳定的增长,提高全要素生产率是我国经济发展的必由之路。一个良好发展的金融体系对企业发展的积极作用是毋庸置疑的,一方面各金融机构能够降低企业融资时面临的摩擦成本,另一方面还能拓展融资渠道:提供各种金融服务与金融产品,对其融资约束的缓解以及其持续经营的支
学位
2005年联合国提出普惠金融一词,其主要含义是有效、全方位的服务于社会的各个阶层人群。同年,我国也引入了普惠金融这一概念,并得到有效推广。随着数字经济和普惠金融的发展,数字经济的便捷性与安全性凸显,数字普惠金融也逐渐成为推动实现经济高质量发展的重要战略导向。绿色发展是中国共产党十八届五中全会提出的“五大发展理念”之一。大力发展环境友好型的产业,通过节能减排的技术措施,实现经济发展与自然和谐共生的经
学位
近年来,房地产行业发展势头强劲,融资规模不断扩大,房地产贷款在银行信贷余额中的占比逐年攀升,使得房地产行业与银行业的联系愈发密切。因而,一旦房地产行业发生危险事件,必定会对银行业甚至整个金融体系的稳定产生不利影响。因此,在国家“牢牢守住不发生系统性金融风险底线”的政策背景下,本文对房地产行业发展及其风险现状进行梳理,对现有研究视角进行拓展,将房地产行业纳入系统性风险管理的框架进行分析,在主流测度方
学位
随着深度学习的迅猛发展,多媒体分析已经取得了长足的进步,如对象跟踪、语义分割等。然而,视频的高级语义理解仍然是一项十分具有挑战性的任务。为了弥合视觉和语言之间的差距、增强多媒体分析系统的可解释性,视频视觉关系检测(Vid VRD)任务应运而生。该任务除了需要预测视频中各个目标的所属类别与运动轨迹,还需要对对象之间的关系进行判定,该关系以<主体,谓词,客体>的形式表示。基于此技术可以快速理解视觉场景
学位
深度学习在机器视觉领域发挥了重要的作用。而在实际应用中,视觉特征的码率成为众多下游视觉任务的基本衡量指标之一,因为这关系到数据传输以及计算的代价。如今,图像不单单面向于人眼,更多时候需要送入计算机来进行分析。针对于面向机器视觉的特征压缩,我们提出了一种基于乘积量化的无监督特征压缩算法并应用于图像检索任务,该方法在图像检索任务检索性能超越了目前最先进的无监督方法。另一方面,如今研究人员提出了许多方法
学位
在药物研发领域,基于病理实验的传统药物开发方式研发周期长、投入成本高,业界一直在寻找有效的计算方法来指导药物研发过程,以深度学习为代表的人工智能技术有改变药物发现过程的潜力。药物小分子一直都是药物研发方和治疗干预的首选方式,在药物开发中占有很大比重。利用深度学习寻找特异性且有效地与靶蛋白结合的药物小分子,能够加速药物研发过程,降低药物研发的成本,在药物研发领域具有重要的应用价值。本文利用图神经网络
学位
在我们常见的网络社群中,社群成员的更具有群体意识、群体归属感,这种情感有时会从线上蔓延至线下,从网络转为现实,也会产生相似的行为。既然情感会引发共同行为,那么在网络社群中,由含有怀旧元素的信息引起社群成员回忆过去、激发怀旧情感,是否也在一定程度上能影响成员一致的购买意愿和行为?所以,本文以网络社群中的青年消费者为目标群体,研究其怀旧情感的产生,心理变化过程,以及如何强化其怀旧情感,继而研究怀旧情感
学位
随着科技的飞速进步,人类展开了更为深入的深空探测活动,深空导航技术也在不断发展的。其中,X射线脉冲星导航方法得到了越来越多的重视,而精准的脉冲星辨识作为其首要环节有着十分重要的研究意义。深度学习能够在大规模数据中学习到数据特征,能够应用至脉冲星辨识问题之中,然而深度模型体积庞大、难于部署,并且面对增量数据时的训练效率低。本文针对脉冲星辨识模型展开了相关的优化研究,在实现精准辨识的基础上,对辨识模型
学位
近年来,知识图谱在组织和表示来自不同领域的知识方面起着至关重要的作用,并在各种网络应用中被广泛采用。而单个知识图谱的知识覆盖面毕竟有限,甚至可能会严重影响到下游各种知识图谱应用,如基于知识图谱的问答系统或推荐系统等,所以构建大型知识图谱已经成为一项具有挑战性的任务。虽然可以从零开始提取新的事实三元组,但其成本巨大,而将现有的不完整知识进行整合以相互补充是非常必要的。实体对齐旨在识别不同知识图谱中的
学位
自2008年金融危机后,中国式影子银行进入大众视野并迅速扩张,影子银行作为投融资需求多样化的产物,在一定程度上满足了融资者的资金需求,扩宽了中小微企业的融资渠道,间接地改善了我国金融环境。但同时影子银行存在着较为严重的问题,因其高杠杆、高信息不对称性,极易产生流动性风险,引发重大危机。2013年6月,我国货币市场出现较为严重的利率异常,主要体现为同业拆借和回购交易的价格紊乱,银行间市场流动性承受较
学位