基于特征融合和纹理迁移的人体姿态迁移算法的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:muzhe8835
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的蓬勃发展,以深度学习为主导的人工智能技术越来越贴近人们的生活。人工智能技术不仅在传统的安防领域,人脸识别领域发挥着巨大作用,也逐渐开始进入多媒体社交领域。其中姿态迁移是热门方向之一,受到大量研究人员的关注。姿态迁移任务的主要目标是给定初始姿态图像和目标姿态关键点信息,利用生成对抗网络生成目标姿态对应的人图像,要求生成的图像在人的姿态动作上与目标姿态对应,纹理信息上与初始姿态图像纹理信息保持一致。近些年,随着深度学习技术的不断进步,姿态迁移的生成效果也在不断改进,但最终的生成效果依然差强人意,特别在目标姿态以及纹理生成上都有很大的改进空间。针对姿态迁移中的挑战和问题,本文的主要研究点如下:(1)针对现有的姿态迁移算法存在生成图像的姿态动作与目标姿态信息不符的,以及生成图像纹理信息较模糊的问题,本文提出一种新型的基于多尺度语义迁移网络的姿态迁移算法。该算法通过融合低纬度的空间特征信息与高维度的语义特征信息生成更高质量的目标姿态图像,其包括两个核心的模块:基于Encode-Decode网络的目标语义掩膜生成模块,通过目标关键点信息生成目标姿态语义解析掩膜,来增强姿态上的相似性;基于多尺度语义迁移的姿态迁移模块,通过提取初始姿态图像,生成的目标语义解析掩膜,初始姿态信息,目标姿态信息在不同尺度上的特征,并在不同尺度上分别进行姿态迁移,最后通过上采样金字塔融合不同尺度特征,提高生成目标图像在姿态动作及纹理上的相似性。此外,为了提高生成图像的纹理多样性,在损失函数中增加了感知损失,提高高频特征的生成。在数据集上的实验证明,基于多尺度语义迁移网络的姿态迁移算法能生成与目标图像在姿态动作及纹理上更加相似的图像。(2)图像在通过卷积下采样后再通过反卷积上采样后,会失去如衣服上的图案等复杂纹理特征。针对生成图像失去初始图像复杂纹理图案的问题,本文提出了一种新型的基于近邻纹理迁移的人图像生成算法,来提高生成图像的与初始姿态图像纹理上的相似性。算法通过稠密姿态估计算法将初始图像纹理信息按身体部位映射到UVMap中,再生成目标姿态图像后,将提取的身体部位的纹理信息再重新映射到生成的姿态图像中。在数据集上的实验证明,基于近邻纹理迁移的姿态迁移算法生成的图像对于初始姿态图像中的复杂纹理信息有更好地保留。(3)针对目前深度学习框架模型部署不便问题,本文设计并实现了姿态迁移系统。系统由推理界面模块,推理服务模块与服务调度模块组成。其中推理界面模块负责用户登录及上传保存数据等功能;推理服务模块负责接收数据进行推理等功能;服务调度模块负责接受推理界面模块的任务消息,根据消息内容对无推理任务的推理服务应用下线处理并释放占有的计算资源,对未上线的推理服务应用调度上线,将消息转发给相应的推理服务应用进行处理。通过功能测试及性能测试证明,该系统能较为方便地部署训练好的姿态迁移任务等模型,并在有限资源下部署多个模型。
其他文献
本文以危废磷化渣为研究起点,探索具有可行性的再生利用途径。磷化渣是磷化工业的有害副产物,其中锌系磷化渣中主要包含了磷酸铁、磷酸锌、其他少量磷酸盐及杂质。使用合适的分离手段可以从磷化渣中提纯得到磷酸铁,通过对提纯出的磷酸铁进行形貌改性,得到亚微米级的重结晶磷酸铁。尝试将水热过程得到的重结晶磷酸铁用于锂离子电池的正极材料和光芬顿材料,为磷化渣的再生利用寻找一条有经济价值的途径。通过对磷化渣组分的研究分
蚁运植物(myrmecochores)指种子由蚂蚁传播扩散的植物。 蚂蚁与蚁运植物的互惠共生关系是种群生态学研究中的一个重要方面,在国际上已广泛开展,而中国没有这方面的研究报道。作者在云南西双版纳等地发现了蚂蚁与植物的互惠共生现象;舞草Codariocalyx motorius(Houtt.)Ohashi、圆叶舞草Codariocalyx gyroides(Roxb.ex Link)Hass
家蚕是重要的经济昆虫,大多数重要经济性状都呈数量性状遗传,家蚕茧质性状就属于其中之一。需要用数理统计学的方法把控制某一数量性状的多个基因作为一个整体进行研究。但这种传统的方法无法鉴别出单个数量性状基因或染色体片断,更难确定数量性状基因座位(Quantitative trait loci,简称QTL)在染色体上的位置及其与其它基因的关系,从而也就大大限制了我们对目的数量性状的转移利用效率。构建高质量
抗生素作为临床上应用最广泛的药物,由于耐药菌株的出现和传播,已造成临床医学感染性疾病治疗上的严重困难。昆虫抗菌肽是一类分子量小、水溶性好、稳定、抗菌谱广且抗菌作用机制独特的阳离子多肽,可望成为新一代治疗药物。昆虫是生物界最大的生物类群,在自然界有极为广阔的生活空间和生存能力,不少科学家认为,昆虫具有惊人的天然免疫力,并以抗菌肽作为其宿主防御机制的主要成分。目前,已从双翅目、鳞翅目、膜翅目、鞘翅目、
按普通硅酸盐水泥∶硫铝酸盐水泥∶VAE乳液=0.5∶0.45∶0.05的配合比,分别向其中加入0.15%、0.2%、0.25%的聚乙烯醇纤维、聚丙烯纤维、碳纤维和玻璃纤维,进行浆液性质的对比试验,进一步探究效果更好的新复合型水泥注浆材料。试验以流动度、凝结时间、抗压强度为主要控制指标进行材料筛选,得到VAE乳液+纤维可以减少结石体的脆性破坏的结论,并最终获得水灰比为0.8,普通硅酸盐水泥∶硫铝酸盐
纤维由于具有优良的断裂韧性因而可被掺入到混凝土中弥补其韧性低的缺点,近年来许多科研人员对纤维混凝土的断裂性能进行了研究,通过对近五年来纤维混凝土断裂性能方面的研究成果进行归纳总结,为进一步促进纤维混凝土的大量应用提供参考。
本文主要针对龙门古阳洞杨大眼龛龛楣进行讨论,讨论内容涉及龛楣被破坏的时间及历史背景;龛楣中部"双龙缠须弥山"图像是依据《龙王兄弟经》雕凿,主要借经文中降伏双龙的"目犍连"来暗喻杨大眼本人战功显赫;文殊、普贤组合造像是唐代最为流行的题材之一,杨大眼龛楣中部的"文殊骑狮、普贤骑象"组合图像则是目前现存时代最早的,为这一组合题材在后世的兴盛开创了先河。
为提高摩擦材料高温下的摩擦磨损性能和摩擦因数的稳定性,利用正交试验法对多种纤维增强酚醛树脂基摩擦材料的配方进行优化设计,并通过极差分析,探讨多种纤维及含量对摩擦材料性能的影响及摩擦材料的磨损机制。研究表明:混杂纤维增强树脂基摩擦材料有着优异的耐磨性。陶瓷纤维硬度较高,开散混料后能够均匀分布在树脂基体内,对酚醛树脂基摩擦材料硬度、内剪切强度以及摩擦因数影响最大;碳纤维具有耐高温、耐磨和自润滑的特性,
论文围绕高超声速飞行器长航时非烧蚀型大面积热防护问题,针对以SiC气凝胶作为隔热层的轻质防隔热一体化结构,考虑隔热材料热导率的温度相关性,建立瞬态传热模型。采用有限差分法中的Crank-Nicolson方法,计算并讨论了不同条件下结构的隔热性能,并与隔热层为陶瓷纤维隔热毡的结构进行对比,分析了SiC气凝胶在结构中的隔热特性及其优势。进而对SiC气凝胶的厚度尺寸进行了优化,求解了在满足约束条件下Si
自第五代(The 5th Generation,5G)商用网络正式启动以来,无线通信网络进一步扩大,这给全球通信带来巨大便利的同时,一些恶意用户利用无线通信网络从事恶意活动的事件也层出不穷,社会公共安全面临着严峻的挑战。对可疑通信链路进行合法监听是预防和对抗这些恶意行为有效途径之一。在通信资源有限的监听系统中,如何提高合法监听器的监听性能成为了一大挑战。其中有效监听速率是衡量监听性能的重要指标。得