基于深度学习的人脸遮挡盲修复

来源 :天津工业大学 | 被引量 : 0次 | 上传用户:jiu0703
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
遮挡是实际生活中普遍存在的现象,被遮挡的物体会缺失部分信息丢失,严重影响着计算机对于图像的理解和分析,因此遮挡一直是阻碍着计算机视觉一些重要研究的发展。被遮挡的图像不便于我们对于图像的分析和处理,也影响了我们对于图像的目标检测与识别等研究。图像修复指复原图像中缺损位置的信息。主要是通过图像中现存信息的特征,去还原图像中的缺失部分。人脸修复作为图像修复领域重要的一个分支,在实际生活中具有重要的应用价值。然而现有图像修复方法存在一定的局限性,它们需要在输入缺损图像的同时输入缺损位置具体信息,这很难应用于实际场景。而在现实生活中如安防视频监控系统中,我们通常捕捉到的视频图像人脸都会存在部分遮挡,在一定程度上丢失了人脸关键点信息,对于识别产生了较大的影响。因此设计出一种能够精致修复被遮挡部位人脸的方法是有必要的。近年来,随着深度神经网络的发展,特别是生成对抗网络的提出,涌现出许多优秀的图像修复方法,使用这些方法修复后的图像不仅语义合理,且内容真实,达到了真假难辨的地步,人脸修复效果也随之提升。然而对于遮挡人脸来说,由于遮挡区域像素随机,严重影响着修复过程中的特征流通,因此对遮挡区域进行较为精准的修复较为困难,且最终修复结果很难在细节上达到理想值。目前,尚未有成型的方法来进行人脸遮挡补偿。因此,本文就此展开研究,构建基于深度学习的人脸遮挡修复模型。由于遮挡的随机性,直接对遮挡部位进行修复具有一定难度,因此本文设计出具有遮挡分割和遮挡修复功能的模型来解决此问题。本文提出了一种基于多尺度特征的编解码网络,可以较为准确的分割出遮挡人脸图像的遮挡部分并且修复被遮挡区域。整个网络结构分为两个阶段,第一个阶段进行遮挡区域分割和遮挡粗修复,第二阶段对第一阶段的修复结果进行精调。在第一阶段中,我们根据门控卷积的特点,将遮挡修复编码器丢失的特征融合到遮挡分割编码器中,从而更好地预测遮挡部分。此外,我们构造了一个特征金字塔网络,在修复编码器中融合上下编码特征,并在解码过程中对各个层次的编码金字塔特征进行融合,从而指导解码器更好地恢复纯净人脸图像。第二阶段是对第一阶段修复结果进行精细调整,为了得到更加真实清晰的图像,我们在解码后加了两层空洞卷积来扩大感受野。通过在人工合成人脸数据集上实验,证明了本文所提方法在人脸遮挡盲修复方面拥有很好的效果。
其他文献
近年来,复杂网络因其在通信网络、全球经济市场、代谢系统等各个领域的广泛应用而受到越来越多的关注。假设在复杂网络中,每个节点代表一个神经网络,而每个边代表一个神经网络对另一个神经网络的影响,则该类型的网络称为耦合神经网络。耦合神经网络是一种特殊的复杂网络,已成功地应用于谐波振荡产生、保密通信、混沌发生器等领域。实际上,现实世界中的许多系统,如交通网络、社会网络等等这些网络可以用多权重的复杂动态网络进
五轴数控机床相比较于三轴数控机床添加了两个旋转轴,使其更适用于航空航天、运输船舶以及汽车行业中复杂曲面的加工,并且有着更高的精度要求。五轴数控机床由于结构的复杂性使得影响加工精度的误差源明显增多,其中旋转轴为主要的误差贡献轴。为了识别机床旋转轴的几何误差,本文分别从误差建模、误差检测实验以及误差补偿三个方面对双回转工作台式AC五轴数控机床(DMU85)以及摆头回转工作台式BC五轴数控机床(DMU8
最近,神经网络的动力学行为已经引起了众多研究者的关注,这是由于它可以广泛地被应用在图像处理,模式分类,优化等。众所周知,电子在不均匀的电磁场的运动可以引起反应扩散现象。因此,反应扩散现象应该被考虑在神经网络中。到目前为止,反应扩散神经的动力学行为已经吸引了许多研究人员的注意。再者,由多个相同或者不相同的反应扩散神经网络组成的耦合反应扩散神经网络也引起了不同领域的众多学者的关注,例如:谐波振荡的产生
地震自古至今都是最危险的地质灾害之一,地震后若能够及时发现受困人员并进行及时救治可大大减少人员伤亡。基于此需求本文研究微型地震搜救探路模型机器人,论文的主要内容和创新性工作如下:1.针对模拟震后复杂搜救环境的迷宫任务需求,对探路模型机器人进行系统构建,包括主控部分、运动控制部分和传感电路部分。详细分析了探路模型机器人运行原理,对探路模型机器人任务执行过程中的方向及方向转换、坐标更新、墙壁资料存储及
气液两相流是多相流中的常见形式之一,其广泛存在于煤炭输送、石油开采、原油运输、工业排污和气力输送等与人类生产生活和实践活动密切相关的过程中。通过一定的测量技术来研究气泡的分布状态,对于掌握气液两相流的流动机理具有重要意义。本文以液相中的气泡为研究对象,提出了基于改进卷积神经网络的气泡流场三维重建方法,再现气泡流场的三维分布,为进一步分析气相在液相中的运动特性奠定基础。本文针对气液两相流研究中的气泡
随着社会经济与智能科技的飞速发展,碳纤维材料因其质量轻、模量高、耐高温、抗疲劳等优秀品质在民用制造、航空航天、机械装备和军工领域等方面已经得到了广泛的应用与发展,因此以高效率的机织生产方式为核心的碳纤维装备系统日益受到了研究者的青睐。为了改善在复杂的非线性网络化控制系统中织物的工艺质量并减少外界干扰带来的影响,本文以碳纤维角联织机为研究对象,围绕纱线的张力波动问题对控制策略展开深入研究。本文首先分
近几十年来,在控制领域中,非线性和时滞一直是神经网络系统的重点和热点。在神经网络系统的具体实现和专业应用中,神经元的固定传输时间和有限的信息传输速率不可避免地会导致系统的时延;另外,环境噪声,未知参数以及各种实际项目中经常遇到的干扰,这使得开发精确的数学模型非常困难。不确定性的存在不可避免地使系统性能下降,甚至使动态系统不稳定。如今,针对复杂的未知非线性系统问题,滚动优化控制可以更好地适应实际系统
航拍图像的目标检测与识别是一项非常重要的任务,广泛应用在地图制图,灾害预测与治理,农业检测,城市的规划和建设等领域。随着深度学习技术的快速发展,基于深度神经网络的航拍图像目标检测算法取得了远超传统目标检测算法的效果。然而,这些深度学习算法应用到实际的航拍检测系统时,往往面临计算开销过大的问题,要达到实时检测需要使用多块高性能的GPU,巨大的算力要求限制了算法在航拍图像实时检测任务上的应用。因此,本
随着多机器人技术的不断发展,多机器人技术在多个领域得到应用,受到了越来越多的关注。单个机器人由于自身性能的限制无法满足人们日益增长的对机器人性能需求。多机器人系统具有更好的性能,能够协作完成更复杂的工作。多机器人编队控制是多机器人技术的一个重要的方向,对多机器人编队控制进行研究具有重要的意义。本文以轮式移动机器人作为研究对象,对多移动机器人的预定性能编队控制问题进行研究,论文主要研究内容如下:对多
癌症标志物是体内发现的一种生物分子,它是癌症发现、预防的征兆,它的识别对癌症的预防以及治疗都有重要的意义。基因表达谱数据是一类非常重要的癌症标志物,从数万种基因表达谱数据中挖掘出不同癌症类型的标志物对于阐明癌症的形成机制、预防癌症的产生和发展都有重要意义。本文的研究分为三个方面:1.本文提出了一种数据标准化的方法。首先将原始数据进行标准化处理,将化学分子间的乘积关系转化为线性关系,将转换后的数据在