基于深度神经网络的动态场景图像去模糊方法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:yjichao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像是现代社会人类传递信息最重要的手段之一。在实际场景中,由于人为操作、场景的限制、自然环境以及传感器的局限性等因素,无法避免地会导致图像模糊。这种模糊不仅严重地影响了图像的清晰度和视觉质量,而且直接影响到图像在精准医学、智能交通、视频监控、航空和民用工业等各个领域的广泛应用。因此,对图像去模糊技术的研究具有很高的社会经济价值。动态场景模糊是由相机抖动、多目标运动、曝光时间内场景深度变化、运动边界遮挡等多种因素造成。由于其成因非常复杂,且模糊图像中不同区域或像素经历的模糊过程和模糊程度各不相同,模糊呈现非线性特性。为此,动态场景图像去模糊难度极大,是图像去模糊领域长期存在的最具有挑战性的问题之一。针对动态场景图像去模糊,研究人员基于深度学习技术提出了各具特色的网络模型,并取得了一定的进展。但由于动态场景模糊的成因复杂,加之深度神经网络的局限性,现有的网络模型普遍存在去模糊效果不理想和鲁棒性较差的问题,特别是对于动态场景图像中模糊程度严重的区域或目标。本论文在深入分析动态场景模糊图像及深度神经网络的特点基础上,以深度神经网络结构设计为切入点,对动态场景去模糊方法展开了系统的探索性研究。提出三种有效的动态场景图像去模糊方法,本论文的主要工作如下:(1)针对现有网络模型在学习复杂动态场景模糊的非线性模糊特征时能力受限,导致动态场景去模糊效果不佳的问题,本论文提出了一种端到端的多宽度激活和多感受野网络方法,以充分挖掘深度网络模型的潜能,提高对复杂模糊特征的学习能力。该方法首先构建了一种多宽度激活特征提取模块,其中设计的多宽度激活残差模块利用1×1的卷积层在激活函数前改变特征通道数,解决了现有网络模型在激活函数之前特征通道数量较少的问题,可以提取到更宽度的非线性激活特征,学习到更多动态场景图像的非线性模糊特征。其次,该方法构建了一个多感受野特征提取模块,其中设计的多感受野残差模块,采用不同的卷积核来获取不同的感受野,使得网络模型能够从较远的像素位置捕获更多的非线性模糊特征,解决了网络结构中感受野单一的问题。最后,设计了一种多尺度特征融合模块,其中设计的可学习融合结构,利用卷积、逐元素相乘和相加操作,实现了自适应融合来自不同模块的多尺度特征和复杂的非线性模糊特征,并重构出高质量的动态场景图像。(2)针对现有基于多尺度和尺度循环框架的方法存在强边缘等信息丢失和网络模型性能饱和的问题,本论文提出了一种逐步下采样和自适应引导网络的动态场景图像去模糊方法。该方法中提出的网络框架可以避免强边缘和其他高频信息损失。该框架主要包括三个阶段,每个阶段的输入图像都是原始图像,不进行任何预处理和缩放采样操作。在每一阶段,利用具有可学习核的卷积神经网络对原始图像进行空间降维,可以更好地整合全局信息,保留必要的细节信息。最重要的是,这个设计使网络获得了更多对图像去模糊至关重要的信息,如强边缘信息等,从而有助于网络模型学习到更有效的动态场景模糊图像与清晰图像之间的映射关系。其次,该方法构建了一个多尺度混合激活残差模块,用于解决单一激活函数致使网络性能饱和的问题。该模块的核心是通过混合不同的激活函数以及不同的感受野,更好的学习到复杂动态场景模糊的非线性特征,因此,可以有效提升网络模型的多尺度非线性特征的提取能力。最后,该方法设计了一种多监督策略,以解决神经网络对输入数据的敏感性的问题。该策略强制将每一阶段输出的粗潜在清晰图像和标签图像计算均方差损失,使网络模型获得更稳健有效的特征和去模糊映射关系,并使网络训练更稳定和收敛更快。(3)针对现有基于深度神经网络的方法,普遍无法处理局部或全局模糊程度严重的动态场景模糊的问题,本论文提出了一种多流注意力生成对抗网络的方法。首先,根据同一幅动态场景模糊图像中不同区域或目标的模糊程度因像素不同而不同的特点,提出了一个注意力引导模块来生成注意力引导图,引导特征提取和去模糊过程将注意力聚焦在模糊严重的区域或目标及其周围结构。因此,该方法无需增加卷积层的数量、卷积核大小等来扩大感受野,就可提高网络模型对模糊程度严重区域的去模糊能力。其次,该方法设计了一种多流多尺度特征提取策略,利用注意力流和多尺度流来解决单一网络结构在提取多尺度特征时的局限性问题。基于此策略,该方法设计了一种由多尺度特征和注意力特征提取模块组成的多流多尺度特征提取模块,用于更好地提取模糊程度严重区域或目标的多尺度特征和注意力特征。结合上述特定的设计,本论文提出的多流注意力生成对抗网络能够进一步改善动态场景图像去模糊的质量。为验证本论文提出的三种方法的有效性和鲁棒性,在多个公开的权威数据集上进行了实验。实验结果证明了本论文提出的三种方法在客观和主观指标上均取得了更好的结果,同时也降低了动态场景图像去模糊的时间消耗。
其他文献
第二次世界大战是20世纪上半叶发生的重要历史事件,对人类历史发展有着深远的影响。二战导致了全球数千万人的死亡,给全世界的社会经济发展造成了无法计量的巨大损失。二战改变了世界政治格局,打破了国家与地区之间的平衡。战争的结果是反法西斯联盟取得了胜利,而德国、意大利和日本三个极权国家组成的法西斯邪恶轴心被打破,它们瓜分世界的企图也被打破。英国和法国等老牌资本主义国家的国力在战争中被大大削弱了,美国继续保
人口“老龄化”带来了疾病风险和医疗费用的陡增,而低生育率和家庭结构小型化进一步削弱了微观家庭的风险抵御能力。根据《中国统计年鉴》披露的数据计算,2014至2018年我国人均医疗支出年增长率维持在两位数以上。经济“新常态”背景下,看病难、看病贵、因病致贫和因病返贫问题仍困扰着居民的日常生活。商业健康保险是现代社会健康风险管理的重要制度,与基本医疗保险共同构成了社会的医疗保障体系。但我国商业健康保险的
中药成分繁多,复杂的基质导致活性成分的萃取和分离成为难题。分子印迹聚合物(Molecularly imprinted polymer,MIPs)具有优异的选择性及吸附性能,可以从复杂体系中特异性吸附目标化合物。由此,本论文旨在通过分子印迹技术对中药的活性成分进行萃取分离、血药浓度监测及代谢研究,促进中药现代化发展。具体开展了以下五方面工作:(1)采用沉淀聚合法研制了基于虎杖苷的MIPs,并用于中药
文章共分为六章。第一章论证形式客观说的不足之处。其中又以批判传统形式客观说为本文的逻辑起点。这是因为传统形式客观说是最早提出的用以区分未遂犯与预备犯的学说。该说认为只有当行为人实施了符合构成要件的行为,方能认可已经着手。传统形式客观说的支持者提出,构成要件的基本功能之一是保障罪刑法定,认为实施了构成要件前行为即可成立实行着手的学说,有违罪刑法定主义。因此,有必要首先厘清着手诸学说与罪刑法定主义之间
随着三峡工程的建成,库区城市建设发展思路已从解决居民“住得下”转向“住得好”的问题之上。由于快速跳跃式的城市发展,造成原有社会网络的打破和空间环境的变迁,由此引发人们在适应新环境中面临更大挑战。公共空间作为城市生活的中心,是为城市居民提供公共交往的重要场所,因此公共空间的人地互动关系将反映居民是否适应新生活的重要组成部分。但随着全球化和快速城镇化的影响,三峡库区公共空间面临景观面貌雷同、文脉延续和
尽管在二语写作领域,有大量研究从不同方面关注同伴反馈活动的过程,分析同伴反馈活动的效果,但很少有研究跟踪调查学习者在较长一段时间内的同伴反馈实践和信念并探讨二者之间的互动影响关系。关于同伴反馈实践过程,亦鲜有研究从学习者个体能动性,即学习者投入的角度进行深入考察,这不利于对同伴反馈活动效果进行分析。鉴于此,本研究从中国EFL写作教学实际出发,考察EFL学习者在一个学年7次同伴反馈活动中的投入及变化
煤与瓦斯突出作为煤矿生产过程中的一种典型动力灾害,严重制约着目前“智慧煤矿”的安全、高效和绿色发展步伐,影响着煤矿领域关于我国“深地”和“深蓝”战略的实施。由于影响煤与瓦斯突出的因素众多,且有关煤矿动力灾害的研究涉及岩石力学、弹塑性力学、渗流力学、断裂与损伤力学、传热传质、多孔介质理论、流体力学和空气动力学等多学科之间的交叉与融合,加之受限于传统研究手段,使得学者们在探索煤与瓦斯突出机制及其防控方
随着信息技术(IT)飞速发展与社会分工日趋细化,越来越多的企业(客户)将IT部门的职能外包给专业的IT供应商,利用IT供应商的技术和资源优势,降低企业运营成本,增强企业核心竞争力。客户在信息技术服务外包时,常常面临着合同签订前(事前)IT供应商具有关于服务能力的私有信息、服务过程中(事中)IT供应商服务努力不可观测和服务完成后(事后)IT供应商服务效果不可证实三类挑战。本文使用甄别合同、监控和再谈
节能环保是当今世界发展的主题,纯电动汽车具有零排放、能量利用率高的优点,发展纯电动汽车是实现交通转型的重要途径,是国家实现碳中和目标的重要抓手。然而,纯电动汽车的里程焦虑限制了其推广应用,车辆整备质量和动力系统参数与车辆的能耗密切相关;能量回收技术能够有效提高车辆整车经济性,延长续驶里程。此外,车辆制动过程中,车身会产生俯仰运动,主动悬架能够减弱车身的俯仰运动。以上问题影响了车辆续驶里程或乘坐舒适
自2008年爆发全球性金融危机以来,人们深刻认识到资产价格波动对经济金融体系影响的问题的重要性。随着世界金融自由化的不断深入,以美国为首的西方发达国家的货币宽松政策有增无减,全球大类资产的价格波动愈发剧烈,给一些国家金融体系的安全与稳定埋下了隐患。如果地区性金融风险失去控制,引发局部范围的金融危机,将会给整个国家带来连锁的负面影响,甚至给世界经济带来沉重的灾难。因此,金融风险的研究成为各个国家学者