基于生成对抗网络的人体人脸图像合成算法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:crystal_zirui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像合成在数据增强、图像修复、艺术创作等方面具有广泛的应用价值,是计算机图形学、计算机视觉等领域的重要研究方向。近年来,随着生成对抗网络(Generative Adversarial Networks,GAN)的提出,吸引了大量国内外学者参与研究,并且产生了众多优秀的科研成果,在图像合成任务中生成对抗网络相比于传统方法更加高效,因此,图像合成也是生成对抗网络最重要的应用领域。尽管生成对抗网络已经能够合成以假乱真的图像,但在跨模态的图像合成以及包含空间关系的图像合成方面仍然存在一些不足,合成的结果中容易出现伪影(Artifacts)。本文针对这些问题进行了相关研究,具体研究内容如下:(1)提出了一种姿态引导的属性可编辑的人体图像合成方法,针对现有的姿态引导的人体图像合成方法无法编辑人体图像的外观属性的问题,借鉴了虚拟试衣的思想对输入的参考人体图像进行语义分割得到不同部位的人体外观属性,然后,对需要编辑的属性进行修改后再输入到网络中即可合成具有目标姿态与源外观属性的人体图像;针对纯卷积结构的生成对抗网络在合成人体图像时会丢失衣服上的图案纹理等细节,使得最终合成的人体图像较为模糊的问题,提出了一种新的空间变换算法,该算法实现了对源人体图像的多个外观属性特征图进行空间变换,并融合为目标人体图像特征图的目的,同时还保证了各个外观属性可以单独编辑互不影响,以及在变换后的人体图像中保留衣服上的图案和纹理。实验结果表明,所提出的方法实现了对合成人体图像的外观属性和姿态进行同时控制的目的,并且相比于其他的方法具有更高的合成质量。(2)提出了一种二阶段语音驱动人脸图像合成方法,针对现有方法合成的人脸不够自然的问题,在第一阶段中对语音特征进行解纠缠(Disentanglement)得到说话人身份信息与语义信息,将解纠缠后的特征输入到编码器中以学习说话人说话时的面部动作特征,使得生成的人脸关键点包含丰富的头部动作信息,最终合成人脸的视觉效果会更加自然;针对现有方法合成的人脸容易出现伪影的问题,在第二阶段中将图像特征与第一阶段的语音特征相连接后输入到编码器中以学习空间注意力掩码,利用空间注意力掩码为图像特征分配权重,以消除人脸图像合成阶段可能产生的伪影,提高合成质量,最后,使用解码器合成目标人脸图像。实验结果表明,所提出的方法实现了更为生动的面部表情与动作的合成,相比于现有方法得到的结果更加自然,具有更好的视觉效果。(3)提出了一种二阶段语音驱动虚拟主播图像合成方法,第一阶段在上述语音驱动的人脸关键点生成算法的基础之上增加了基于时空图卷积的语音驱动手势关键点生成算法,使得所提出的方法能够同时从语音信息中学习到说话时的面部动作和手势动作,在第二阶段中使用基于特征空间变换的图像合成方法,以消除手臂移动造成的伪影,保证图像合成质量;针对现阶段没有统一的手势生成评估方法,提出了一种新的手势动作生成评估方法。实验结果表明,本文提出的方法能够同时生成自然生动的面部动作和手势动作,并且具有较高的图像合成质量。
其他文献
培养学生的计算思维,是近年来中国计算机及教育领域的一个研究热点。如何在小学阶段信息科技课堂教学中,合理地培养学生的计算思维能力,是值得小学信息科技教师探究和思考的问题。本文主要介绍计算思维的基本定义,分析在小学阶段对学生计算思维训练的研究现状,探讨了利用Scratch软件设计基于计算思维的课堂教学活动,尝试在课堂教学活动中通过优化教学设计环节来实现在信息科技学科教学中对学生计算思维能力的培养。希望
天然裂缝是吉华1潜山变质岩储层重要储集空间和主要的渗流通道,其发育程度影响着潜山油气运移、聚集、保存和单井产能。利用岩心、薄片以及成像测井等资料,对吉华1潜山变质岩储层裂缝的分布特征进行了定量表征,明确了影响研究区变质岩储层裂缝发育的主控因素,最后运用多信息融合和数值模拟等方法对裂缝的分布进行了综合评价。吉华1潜山变质岩储层主要发育以中-高角度为主的构造裂缝,裂缝大多未充填或半充填,裂缝有效性好。
目的 探讨辅助激活因子p300诱导的乙酰化修饰介入脂多糖(LPS)诱导的炎症介质合成过程及其作用机制。方法Agilent Sureprint G3 Mouse Gene Expression V2微阵列芯片以及蛋白免疫印迹(WB)技术联合于小鼠巨噬细胞(RAW246.7)中筛选表达水平与LPS刺激强度相关的分子;凝胶电泳迁移实验(EMSA)以及染色质免疫共沉淀(chip-qpcr)方法验证相关分子
余文森教授所倡导的“读思达”教学法,全称为“阅读、思考、表达”教学法,是核心素养导向课堂教学的必备教学范式,是课堂教学的三个基本环节。文章依托部编版教材课例,通过教材中的史料和课外搜集的史料形成的链接,将“读思达”三位一体,融合到高中历史课堂教学中,以提升学生的史料实证核心素养。
目的 分析单纯舒张期高血压病位与病性证素分布特点,为临床诊治提供参考。方法 对2020年1月至2021年1月在天津市第一中心医院门诊就诊的360例单纯舒张期高血压患者进行问卷调查,参考《证素辨证学》进行证素判定,提取出病位及病性证素。使用SPSS 20.0软件,采用频次分析和聚类分析对证素进行处理。结果 依据纳入和排除标准,最终纳入350例单纯舒张期高血压患者作为研究对象,共获得证素31个,其中病
为探究SNEDPR强化MBBR工艺脱氮除磷的可行性,采用连续曝气和搅拌/曝气交替运行的MBBR反应器,以磁性填料作为载体处理模拟生活污水,考察了SNEDPR启动过程中的脱氮除磷性能.并结合荧光显微镜和高通量测序技术对各个功能菌群结构变化情况进行了分析.实验结果表明:经两阶段运行后,氨氮和磷去除率分别达到97.6%和85.37%,出水NO2--N、NO3--N和COD浓度分别为1.3949mg/L、
耐热DNA聚合酶的分离成功及应用,简化了聚合酶链式反应(Polymerasechain reaction,PCR)技术,提高了PCR扩增的特异性,加速了PCR操作自动化过程。国内外已对耐热DNA聚合酶的特性进行了较深入的研究。除耐热DNA聚合酶外,还有许多因素影响PCR扩增效果。我
党的十八大以来,习近平总书记围绕红色血脉的内涵结构、历史定位、时代价值以及赓续红色血脉的路径选择等问题发表了一系列论述,为用好红色资源、传承红色基因、赓续红色血脉、走好新时代长征路提供了遵循。中国共产党百年革命史诗汇聚而成的红色血脉,是中国共产党政治本色的集中体现,是传承红色江山的精神源泉。运用红色资源,传承红色基因,赓续红色血脉,要把传承红色文化纳入国家发展战略,把红色文化融入国民教育全过程,坚
浦江县第四污水处理厂扩容和提标改造工程规模4.5万m3/d。主体工艺采用多级AOMBBR组合工艺。MBBR工艺性能包选用比重合理、性能良好的改性生物悬浮填料,悬浮填料的流化疏导采用了推流器+气提疏导组合方式,填料投加后12小时内可完全均匀流化,配套拦截系统采用了模块化安装方式,一组MBBR池7天完成改造。生化池多级AO-MBBR系统运行平稳,出水稳定达标。
从1973年芝加哥期权交易所创立,首次产生标准化期权合约至今,已有了40多年的发展历史。在金融数学领域,围绕着期权定价的一系列研究也已经取得重大的成果。在此基础之上,为满足市场需要的各式各样的奇异期权也孕育而生。相较于海外的期权市场已经经历了 40多年的建设和发展,定价机制和交易环境都已日趋成熟和稳定,国内的期权市场尚处于起步阶段。自2018年,监管部门确立7家场外期权一级交易商以来,到2021年