半监督人脸正面化算法研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:gift19852003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机视觉领域,近年来有一类被称为人脸正面化的任务受到了广泛关注。人脸正面化问题定义如下:给出侧脸的图片,通过某种手段获得对应的正脸图片。这项工作在许多领域,例如:提高人脸识别准确率、嫌疑人画像生成等。目前大部分人脸正面化方法都仅能使用包含侧脸-正脸对的有标注图像数据集(通常来自Multi-PIE数据集)进行训练。这样的数据集构成,导致训练出的模型缺乏在不受控环境下的通用性。与此同时,另一类在非受控环境下收集的非配对人脸数据集虽能提供大量数据,但这些数据却因没有配对,所以难以利用。为了解决上述问题,本文通过分析人脸正面化领域优秀算法之一双通道生成对抗网络TP-GAN的思想,针对其双通道结构复杂、需要额外输入关键点、仅能执行侧脸转正任务的缺点,提出了一种多姿态人脸生成对抗网络,该方法通过调整生成器结构、加入捷径链接、引入额外专家网络等改进,实现了多姿态人脸生成。多姿态人脸生成对抗网络的的主要特点是结构简单、占用资源少,仅使用一个结构上完全一致的生成器便可完成正脸转侧脸和侧脸转正脸任务,并在一些评估指标上达到了和TP-GAN类似的性能。利用该网络结构简单,能生成任意姿态人脸图片的的特性,我们又提出了一种半监督的人脸正面化框架,该框架能同时利用受控环境下收集的配对数据和非受控环境下收集的非配对数据进行训练,解决当前人脸正面化方法在非受控环境下收集的数据集上泛能力不佳的问题,进—步提升网络性能。我们将该方法命名为基于回路一致性的人脸正面化生成对抗网络CCFF-GAN由两部分组成,监督部分和无监督部分,二者共同协作完成训练。对于监督部分,CCFF-GAN利用受控环境下收集的配对数据使网络学习到一个基础的人脸姿态转换映射;对于无监督部分,CCFF-GAN则使用了创新的感知周期损失函数,使网络能有效利用非受控环境下收集的非配对数据进行训练。本文提出的多姿态人脸生成对抗网络和基于回路一致性的人脸正面化生成对抗网络具备为首次提出,且在广泛实验中取得了业内最佳成绩,体现了本文算法的优越性。
其他文献
近年来,神经网络机器翻译的研究发展迅速,其社会关注度也不断上升。一个高质量的翻译系统具有较高的商业价值,且对推动国际间的交流具有重要作用。机器翻译的发展,也能促进诸如事件检测,情感分类等其他自然语言处理任务。在传统的基于注意力机制的编码器-解码器框架上,多模态神经网络机器翻译(MNMT)通过一个独立的视觉注意机制进一步融合了空间视觉特征。目前,大多数的MNMT模型通常采用如下做法:先分别学习文本和
学位
车辆走行部机械故障是影响车辆运行安全的重要因素,而轴承是车辆走行部的关键部件,因此需研究轴承智能运维模式以及实施轴承智能运维的技术体系。提出了车辆走行部轴承智能运维模式;介绍了基于该模式的车辆走行部轴承智能运维系统的组成,以及走行部轴承故障诊断、健康评估与预测关键技术。上海轨道交通实际应用案例数据分析结果表明,车辆走行部轴承智能运维系统能够准确诊断轴承故障,并能准确预测轴承剩余运营里程。采用该系统
期刊
<正>自2007年第一家村镇银行成立以来,经过十余年的发展,截至2022年9月末,全国共有村镇银行1648家,基本实现乡乡有机构、村村有服务,成为我国分布最广、离农民最近的金融机构,是支持“三农”和县域经济发展的重要力量。村镇银行的业务高度集中于当地,特别容易受到区域性经济波动的影响,随着经济下行压力的加大,村镇银行的不良贷款风险增多,资产质量不高。
期刊
关键短语生成是自然语言处理领域一个细粒度任务,生成的关键短语可以应用于文本分类、文本聚类与信息检索等众多研究任务和业务场景中。该任务最近几年逐渐受到研究者们的关注,数据集、评价标准和模型结构等多个方面都得到了很大的发展。本文对关键短语生成任务展开研究。我们通过对数据集进行分析,发现关键短语更多由形容词或名词组成,然而现有关键短语生成研究却对词性不够重视;特别是拷贝网络模块从原文本中拷贝词汇时同等对
学位
专业课程思政教学改革重点在于取得课程思政教学改革的实效性。以OBE理念为指导,对产品设计专业课程从教师课程思政意识培养、课程教学体系优化、思政元素挖掘、培养目标设定、教学模式与方法、考核评价等角度开展研究。将OBE理念贯穿到课程思政教学改革的各个阶段,以培养目标作为导向,探讨产品设计专业课程思政建设路径,为建立课程思政教学改革新思路提供理论支撑,为社会培养具备综合素养的复合型、应用型人才提供实践依
期刊
分子电子学是研究用于制造电子元件的分子构件的学科。该学科借助单分子尺度测量手段,实现针对分子结构、分子与电极连接方式以及分子内和分子间的物理化学作用等在内的单分子事件的准确测量和分析。然而微观尺度的分子行为具有高度的随机性,需要设计数学方法对测量轨迹进行统计分析以获取可靠的单分子尺度电学特性。这些方法以各类机器学习算法和特征统计方法为主,通过对数据特征的提取和统计,实现了不同单分子事件的准确分类和
学位
球孢白僵菌(Beauveria bassiana)是害虫生物防治的重要材料,家蚕(Bombyx mori)是研究昆虫免疫反应机制的重要模式昆虫。深入研究昆虫应对孢白僵菌侵染的免疫反应机制,对于从免疫抑制的角度提高球孢白僵菌对害虫的防治效果具有重要意义。本研究首先筛选出对家蚕具有高、中、低毒力的3株球孢白僵菌菌株,进一步研究了该3株不同毒力的菌株在体表侵染和体内注射方式下诱导的家蚕免疫应答基因的表达
学位
本文回顾了中国汽车工业七十年来市场结构的纵向变化,并横向与汽车强国美国、日本等进行比较,发现我国汽车行业存在市场集中度低、规模经济不显著等结构性问题。从欧美、日韩等国的经验来看,汽车产业兼并重组是势在必行的,但另一方面由于汽车产业对国民经济影响巨大,其产业链又非常长,容易在不同的环节产生垄断行为,因此,汽车生产企业的合并一直都是反垄断调查的重点领域。基于以上几点考虑,本文收集了 2017年9月到2
学位
背景 骨关节炎是中老年人常见的慢性病,严重影响中老年人的生活质量。在社区开展骨关节炎的疾病管理有利于资源配置的优化和提高疾病的整体防治水平,但目前骨关节炎的管理存在诸多问题,效果不佳。目的 分析目前国内外社区骨关节炎的管理情况和策略进展,比较其优缺点,为我国社区骨关节炎管理提供更为优化的策略,以改善骨关节炎患者的诊疗效果和预后。方法 于2020年10月至2021年1月,在中国知网、万方数据知识服务
期刊
坚持创新驱动发展战略,增强自主创新能力是提升我国综合国力的关键。作为影响区域创新能力的重要方式,产业集聚对于引领城市创新、实现经济高质量发展具有重要意义,而现阶段我国各个城市的创新能力和产业集聚程度存在较大的差异。本文首先围绕产业集聚与城市创新能力展开,利用我国266个城市2009-2016年的数据计算并分析专业化、多样化集聚和城市创新能力的现状。其次,随着我国城市化的步伐不断迈进,人口、资源在城
学位