人脸图像盲去运动模糊的深度学习方法研究

来源 :四川大学 | 被引量 : 0次 | 上传用户:xiaofyk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字图像一直在信息的传递过程中扮演着重要的角色。如今多媒体信息爆炸的时代充斥了图像和视频等数字信息,同时也存在着包含大量模糊人脸图像的问题。无论是人们日常分享生活、传递信息还是在科研领域中如智能安防、目标或人脸检测或者自动驾驶等计算机视觉任务都需要依托大量清晰的图像,因此将模糊图像重新变得清晰是一个急切且广泛的需求。在图像处理领域中,将图像的模糊主要分为了高斯、散焦、运动、衍射等类型,其中由运动所造成的模糊是最为常见也是最难处理的。尽管目前在传统图像处理领域和深度学习新领域都针对图像去除运动模糊进行了一些研究,但现有的方法都因为前提假设过多,适用场景存在限制和去模糊效果不理想而无法被广泛接受和应用。为此本文在无任何模糊核信息的前提下,以人脸图像去除由运动所造成的模糊为研究对象,详细分析了图像运动模糊的成因与图像退化原理,在充分研究前人既往成果的基础上,提出了本文基于深度学习端到端方式的人脸图像盲去运动模糊算法。本文算法的核心是通过深度学习中对抗式学习的思想,以模糊人脸图像为输入,结合部分人脸先验,经大量数据学习下得到的算法模型处理后直接重建出清晰图像。本文工作的主要内容包括:1.提出了一种全新的用于人脸图像盲去运动模糊的算法。算法结合监督式学习的思路,将生成式对抗网络模型进行改造,通过输入单幅模糊的图像,直接输出清晰的人脸图像。该算法网络框架将改进后的残差网络和级联化的稠密U-Net网络进行连接,完成人脸定位、图像分割以及去模糊任务,其中改进的残差网络主要负责人脸内容的恢复,级联化的稠密U-Net负责人脸定位和图像分割。同时这样的组合设计可以提升网络稳定性,解决梯度消失/爆炸问题和多样性问题,更好地适应高分辨率、高清晰度人脸图像的处理任务。除此之外,算法借鉴了传统图像领域的处理方式,将图像盲去运动模糊主任务细分为人脸结构定位、特征提取、边缘检测、图像去模糊等,并利用具有不同功能的神经网络分别有针对性地处理各项子任务,以多功能网络模型组合方式代替传统的单一式网络。在网络的连接方面也采用了级联、并联等多种方式,保证了网络参数的拟合能力,提升了网络的去模糊能力和适用性。2.提出了一种全新的以损失函数为中心的深度学习网络训练方式,即在网络训练过程中的不同阶段采用不同损失函数来引导训练的策略,并将之命名为“分阶化的损失函数”。在本文中提出了一种多阶段、多分量的损失函数设计思路。多阶段指本文将网络的训练进行进度分解,通过不同衡量粒度下设计的损失函数,保证网络在训练前期能够快速收敛,在训练后期能够精细微调,从而使网络生成结果达到实验期望;多分量体现在损失函数由多个部分组成,包含了引导博弈进程的对抗损失函数部分,规范图像内容恢复的内容损失函数部分和进行图像结构精准定位的定位损失函数部分。这样的设计可以高效获取图像特征和场景下的图像语义信息,达到更好的图像恢复效果。本文中使用了不同的人脸先验来指导人脸图像去除运动模糊。3.自建了一个用于图像盲去运动模糊任务的人脸数据集。优秀数据集匮乏一直是图像去模糊研究领域一个棘手的问题,极大地制约着该领域的发展。为了能够有效解决人脸模糊问题,本文筛选清洗了优秀开源人脸图像数据集,获得了清晰人脸图像并通过算法模拟运动的方式生成模糊人脸图像,组成了包含近6000组清晰-模糊人脸图像对的数据集来解决缺乏人脸数据集的问题。同时,本文也使用了该领域其他研究中常用的一些数据集进行了广泛的实验以及定性和定量的分析、对比,以验证本文提出算法的有效性。本文建立了包含峰值信噪比、结构相似度等客观衡量标准,绝对图像视觉质量、相对图像视觉质量等主观评价准则以及其他计算机视觉任务间接指标在内的评价体系,并在自建数据集和其他公开数据集上进行了广泛实验。实验结果表明,本文提出的算法可以高效地处理图像去模糊中的各项子任务,精准地定位图像结构并重建出高质量的清晰图像。同时,通过不同的评价指标,本文实验在与该领域其他优秀方法的对比实验中均取得了优秀的成绩,证实了本文提出算法的有效性。
其他文献
在法医学身份认定实践工作中,传统主流方法是DNA对比、指纹识别、面部识别等。但是在大规模灾难发生的时候,尸体经常出现腐败化、白骨化、焚毁化等极端现象,前述传统方法难以应用。能否及时、准确地识别死者的身份,对于加快灾后重建,稳定遇难者家属的情绪至关重要。颅骨的蝶窦部位因为具有生物特异性以及抗物理损毁能力,在大规模灾难发生时,通常被法医学专家选作参考资料实现死者的身份认定。既往法医放射学专家通常利用蝶
低空监视雷达是基于三坐标的一次监视雷达。雷达有效工作范围为50km,搜索高度最高为3km,主要是对近低空的低小慢目标进行跟踪。低空监视雷达工作环境复杂,易受气象条件、地杂波、多役干扰等因素的影响。为解决在杂波密集情况下低空监视雷达目标跟踪算法性能效果不佳的问题,本文提出了基于机器学习的航迹起始分类算法和基于模糊聚类的联合概率数据关联算法,以提高目标跟踪的正确率,并满足实时性要求。基于机器学习的航迹
飞行冲突识别与调配活动在实际管制过程的占比较大,对该活动事项展开研究并研发出相应的辅助决策系统可以减轻人员的工作负荷和增强空管的服务能力。本文提出了基于神经网络的冲突识别与调配模型,通过学习历史数据获得管制员的管制策略,然后提供可被信赖的飞行识别与调配功能并完成相应系统模块程序的编写。探究相关的理论知识,该技术理论的研究往往结合航空器的运动学建立相应的数学模型,冲突识别尚可获得相对良好的效果但给出
CT技术因其成像清晰、扫描速度快等特点在临床筛查、病情追踪医学领域得到了广泛应用。CT技术的出现为医生诊断病情提供了有效的参考,但近来有研究表明CT拍摄时产生的辐射会对病人的身体健康带来很大的隐患。因此人们也越来越重视CT技术中的X光带来的危害。研究人员尝试降低辐射剂量来减少对病人身体的危害,但实验结果表明,降低辐射剂量将直接影响图像质量的好坏,因为会导致获取的图像产生噪声和伪影,不利于医生对疾病
十三届全国人大四次会议报告显示,2020年检查机关起诉涉嫌犯罪的未成年人的人数高达3.3万人,恶性案件低龄化的犯罪趋势使得国内对于未成年人骨龄鉴定需求有所增多。在国内的司法领域中,骨龄鉴定作为证据在对嫌疑人判刑方面发挥了巨大的作用。目前国内的骨龄鉴定主要依靠人工鉴定,依赖骨龄计分法对手骨发育进行等级评分得到预测骨龄,其缺点是需提前掌握相关知识并需要进行繁琐的操作,对于非专业人员来说是比较高的门槛,
近年来,民用航空产业进入到了一个高速发展期,未来的空中交通将越来越密集,空中交通管理正成为一个日益重要和复杂的研究领域。4D航迹预测是航空运输系统的核心要素,旨在提高空中交通的运行能力和可预测性,精确的航迹预测可以有效解决空域资源紧张的问题,并在冲突探测与解脱、协同管制等领域具有重要意义。随着数据挖掘与人工智能技术的飞速发展,越来越多的历史航迹数据可用于空域态势分析和监控,将其有效运用于智能空管系
时间性反走样算法具有效率优势,是近年来被广泛应用的实时反走样算法之一。该算法通过将采样点平摊至历史多帧及复用历史数据的方式来实现实时反走样。在时域信息采样充分且历史数据可复用的前提下,该算法能取得和超采样反走样算法类似的效果。然而在实际应用中,上述条件并不一定完全成立。在历史数据不能被复用的情况下,将产生几何走样及重影等问题。除此之外,为了降低显存成本,该算法使用累积帧来代替历史多帧,这将导致误差
随着现代战争不断向着信息化、智能化的方向发展,飞行器自主机动决策技术作为提升战斗机智能化水平的关键技术,也越来越受到世界各国的关注。现代空战环境复杂、态势瞬息万变,能够准确感知空战环境并生成合理决策的自主机动决策方法技术是近几年来军事技术研究的重点。近年来,随着人工智能技术研究的不断深入,深度强化学习方法在多种决策问题的解决上取得了一定的突破,为飞行器机动决策问题的解决提供了新的思路。本文以三维空
终端区是空中交通管制的重要部分,其任务是引导飞行器起飞、降落和有序进离场,随着空域内飞行器数量的增加,终端区空中流量增大,容易导致飞行冲突,引发空中交通阻塞和航班延误,影响飞行安全,因此研究终端区飞行冲突调配具有重要意义。终端区飞行冲突调配是根据当前飞行器参数,判断未来一段时间内飞行器之间的距离是否会小于安全间隔的规定而导致冲突,并对可能的潜在冲突采取措施避免发生碰撞的过程。本文在现有空中管制技术
在低空监视领域中,小型飞行器的机载设备受制于功率和成本,很难准确播报本机的运动参数,只能通过雷达对其进行主动检测。这类小型飞行器具有的飞行高度低、飞行速度慢和雷达反射面积小等特点,极大增加了雷达目标检测的难度。日益增多的小型飞行器造成了许多空管事故,因此,提升雷达对低空空域小目标的检测能力,成为近年来空管领域需要迫切解决的问题。本文针对基于深度学习的雷达目标检测算法展开了深入研究,根据低空目标的特