基于自注意力生成对抗网络的人物姿态迁移技术

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:amaozh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人物姿态迁移是将当前人物图像从原始姿态转换成为目标姿态的生成类任务,在视频压缩等领域有着重要的应用价值,同时在人物图像姿态编辑、动画制作、电影特效制作以及虚拟现实等领域有着广泛的应用前景。目前,人物姿态迁移网络通常以人体姿态关键点和人物图像作为输入,然后通过学习图像表面及姿态信息合成目标姿态的人物图像。人物姿态迁移网络一般使用生成对抗网络的方法进行实现,由生成器以及判别器组成。然而,传统人物姿态迁移网络在测试集中生成的图像清晰度及准确度明显差于训练集,人物细节保留度较差。这很大程度上是因为传统主干特征提取网络性能不佳,卷积神经网络判别器无法有效判别生成图像和标签图像造成的。为此,本文针对这两个问题展开进一步研究,以生成对抗网络为基础,提出了基于自注意力生成对抗人物姿态迁移模型,并在主干特征提取网络及判别器数据集和人物姿态迁移数据集上实验,在增强人物细节保留度的同时,提高网络的测试集生成图像清晰度及准确度。主要工作如下:(1)基于EfficientNetV2框架搭建主干特征提取网络。传统VGG、ResNet框架的主干特征提取网络缺乏通道注意力,在反向传播时使用ReLU激活函数会出现神经元死亡、不可导,导致特征提取精度不足。使用EfficientNetV2框架的主干特征提取网络,引入SiLU激活函数、SE网络、MBConv网络以及Fused-MBConv网络,充分发挥了通道注意力和SiLU激活函数的预测性能。通过实验验证,相较于ResNet50框架搭建的主干特征提取网络,准确率提升了1.3%,交叉熵损失降低了0.022,预测时间降低了6.0ms,提高了整体性能。(2)采用融合自注意力机制的卷积神经网络判别器。传统纯卷积神经网络框架搭建的判别器无法获取图像全局相关性,当参数量较少时通常缺乏足够的性能来判别真实样本和生成样本。而纯自注意力机制框架的判别器缺少卷积神经网络所特有的归纳偏置,需要超大型数据集进行预训练才能获得比较好的效果。通过搭建的主干特征提取网络对图像的有效语义信息进行提取,堆叠Transformer编码器对语义信息进行自注意力机制计算并由分类头得出判别结果。实验表明搭建的判别器测试准确率提高,较纯卷积神经网络判别器(EfficientNetV2-S)提升3%,较纯自注意力机制判别器(Vision Transformer)提升6.4%,同时预测时间明显缩短。(3)搭建融合自注意力的生成对抗网络姿态迁移模型。以生成对抗网络的方法为基础,人物姿态迁移作为任务,结合改进主干特征提取网络和改进判别器,搭建了基于自注意力生成对抗姿态迁移模型。将模型放入中型数据集进行预训练,大大减小了缺乏归纳偏置对模型的影响。实验结果表明相比没有融合自注意力机制的模型(PPAT),SSIM指标提升了0.029,测试集生成图像质量有了明显提升。本文提出基于自注意力生成对抗网络的人物姿态迁移模型,通过分类任务实验验证其主干特征提取网络和判别器预测时间更短,性能更高,并通过人物姿态迁移任务实验验证测试集中生成图像清晰度和准确度更优,细节保留度增强,整体性能得到提高。
其他文献
随着全球能源消耗的增加,提高能源转换效率成为了节能减排的核心问题,流动沸腾是一种高效的能量传递方式,在微电子冷却、暖通设备和热力发电等领域都有着广泛地应用。目前常见的强化传热手段主要是采用扩展表面或扰流装置等被动式强化技术,这些强化传热技术通过流体扰动的增加提高传热系数,但同时流动阻力增加,不可避免地造成系统耗功增加,因此,亟需发展新的强化传热技术。主动配液式强化传热基于工质流动沸腾特性,通过气液
学位
随着社会经济的发展,时代的不断进步,企业也面临着各式各样的风险,因此我国的国有企业要加强内部控制管理,以此来帮助和预防企业面临的各种风险。本文主要探讨我国企业内部控制存在的问题,以及针对这些问题提出有针对性的解决措施。
期刊
偶氮苯在光照、加热等外界因素刺激下能在反顺构型之间发生转变,从而伴随极性、分子长度和能量等方面的变化,该特性引起人们极大兴趣。但是以往的研究往往注重于分子层面的设计及优化。本文从分子设计和选择出发,并依据偶氮苯分子的性质设计制备了两种柔性器件,分别是柔性光热储能器件和柔性光控“机械臂”器件。(1)选择带有供电子基团的偶氮苯分子3,3’-二甲基偶氮苯(AZO-1)和3-氨基-4-4’-二甲基偶氮苯(
学位
在信息高速发展、互联网普遍应用的当下,教育培训行业也在向数字化建设方向转型。与此同时,服务中心及工作人员处理的业务越来越多,面向的场景也越来越复杂,因此尽快适应变化,从平台层面提升工作人员效率与服务质量,是提高用户转化与企业效能的关键。本论文实现的项目正是通过整合升级原有的分散化功能,为教务全场景办公提供一站式服务,最终达到降本增效的目的。在平台的设计与实现过程中,平台采用Vue.js+i Vie
学位
固体氧化物电池(SOCs)在电化学能量转换方面具有众多优势,成为高效、清洁和可持续性的代名词。由于工作温度高,电池存在退化和长期稳定性问题。开发新材料,新结构对提高SOCs在中间温度下的电化学性能和耐用性显得尤为重要。在此背景下,继续对多管电堆进行开发、仿真与测试。以解决电堆功率偏低,稳定性差,寿命短的关键问题,推进电堆的商业化发展。主要研究结果如下:通过添加绝缘陶瓷连接器,成功制造了共燃料通道微
学位
随着城市化进程加快,轨道交通已逐渐成为主导城市交通的公共设施。但近年来中国地铁突发灾害事故层出不穷,无疑会引发各种不良社会效应。因此,地铁站内应急救逃生设施设备有待进一步完善。逃生面罩以其易操性、便携性等特点在逃生过程中发挥着不可替代的作用。基于TRIZ理论设计出一款的性能稳定、便携易操的的应急逃生面罩产品是本次论文的研究目标。TRIZ理论是由阿奇舒勒提出的创新发明理论,是基于其研究团队通过对数百
学位
This thesis attempts to analyze coordination mechanisms between producers and suppliers in a supply chain.Since the entities in a supply chain work usually independently each from the other,it is of c
学位
水系锌离子电池由于具有安全性能好、对环境友好、资源丰富等优点而得到了广泛的应用。尖晶石锰酸锂(Li Mn2O4)作为一种备受关注的正极材料,不仅储量丰富、成本低,而且易合成,是最有潜力的电极材料之一,但循环过程中锰溶解造成的容量衰减限制了其应用和发展。因此,本文以尖晶石Li Mn2O4为研究对象,从氧缺陷和表面包覆两个方面来提高比容量,抑制容量衰减,改善循环性能,并将其应用于水系锌离子电池,主要内
学位
2018年以来,美国对中国关税政策收紧,贸易摩擦不断升级,中国被迫进行贸易反制。随着双方政府行动和国际社会局势变动和世界大环境不稳定因素增加,中美贸易与中美关系都出现新特征。《纽约时报》和《人民日报》在各自国内乃至国际传播中都具有代表性和影响力,两家媒体是以怎样的视角、观点、方式去解读中美贸易战也就变得关键。本研究基于解释水平理论和框架理论,对《纽约时报》和《人民日报》有关中美贸易战的报道进行内容
学位
微米尺寸的表面功能聚合物微球在色谱柱、生物检测、光电器件等领域有广泛的应用而受到了工业界与学术界的关注。制备尺寸可控和表面功能基团数目与种类可控的单分散聚合物微球是高分子合成领域的一个重要研究方向,其中分散聚合是制备粒径范围在0.5-15μm的单分散聚合物微球的最常用方法之一。与热引发聚合相比,光引发聚合具有聚合速度快、时空光控等优点。本课题组前期将光引发分散聚合和可逆加成-断裂链转移(RAFT)
学位