面向时装领域的视觉关系理解与生成技术研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:hlf00852
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着国民审美水平的不断提升,人们追求时尚穿搭的需求日益凸显。然而,并不是所有人都具有一定的审美认知。因此,自动化服装搭配成为人们日常生活中的迫切需要。同时,现实中的搭配服装设计往往需要设计师手动完成,费时费力。因此,自动化搭配服装设计也值得我们密切关注。此外,在现实生活中,人们通常需要对感兴趣的服装进行试穿,并根据试穿效果决定其是否购买服装。然而,在线上购物时,由于空间的局限性,用户难以获得服装的试穿效果。显然,在线虚拟试穿也亟待研究人员的探索。为满足以上时尚需求,需要深入探究套装内的视觉兼容关系理解、搭配服装生成技术以及虚拟试穿生成技术。为此,本文着眼于时尚领域的实际需求,对面向时装领域的视觉关系理解和生成任务进行了深入研究。虽然现有的工作已经取得了一定的进展,但是这些工作还存在一定的不足。具体而言,现有的时尚视觉兼容关系理解方法只是从分立的角度建模套装内单品之间的兼容关系,而忽略了套装整体试穿效果对于兼容关系理解的潜在帮助。现有的搭配服装生成方法旨在学习一对一的视觉兼容关系,忽略了对于一对多视觉兼容关系的挖掘,且难以生成多样化的搭配服装。现有的虚拟试穿生成方法只能为用户生成姿势不变的试穿形象,难以满足用户的真实试穿需求。为了解决上述问题,本文分别开展了如下三方面的研究工作:(1)基于多角度互学习的视觉兼容关系理解本文探究了同时从分立和试穿角度来全面评估套装的视觉兼容关系,并设计了基于多角度互学习的服装搭配方法。其中,考虑到分立单品之间的兼容性可能被多种潜在因素影响,本文设计了基于解耦图表示学习的分立兼容性建模模型以挖掘分立单品之间的细粒度兼容性关系。此外,本文提出了基于知识蒸馏表示学习的试穿兼容性建模模型,该模型能够为分立套装学习有效的试穿表示,并基于此进行试穿兼容性评估。最后,为了充分利用两种建模角度之间的一致性关系,采用互学习策略,将两种角度的建模进行了有机结合。本文在公开数据集FOTOS上进行了验证,结果验证了所提方法的有效性。(2)基于一对多的视觉兼容关系的服装生成本文探索了一对多的视觉兼容关系,并提出了基于兼容分布的搭配服装设计方法。该模型为给定单品探索相搭配的兼容设计模式,以生成多样化的搭配服装。首先,本文将复杂的搭配服装生成任务解耦成两个阶段:多样化兼容形状生成和多样化兼容单品生成。然后,为了深入挖掘一对多的视觉兼容关系,本文提出根据与单品相搭配的所有服装信息,为给定单品学习一个潜在的兼容性分布,从而从全局的角度捕捉兼容性设计模式。最后,在真实数据集IQON3000上进行了大量的实验,结果验证了本文所提方法能够优越于目前先进的基准方法。(3)基于2D空间关系对齐的虚拟试穿图片生成从实际需求出发,本文定义了一个新的试穿任务,即为人们生成不同姿势的虚拟试穿图片。针对该任务,本文提出了基于空间关系对齐的虚拟试穿图片生成方法。本文将试穿任务分解为两个阶段:服装形变和试穿图片生成。在第一阶段,提出了体型引导的服装形变模型。该模型首先预测目标体型掩码作为辅助,然后通过学习服装与人体(姿势、体型)的空间关系来实现服装的自然形变。在第二阶段,提出了基于注意力机制的双向生成虚拟试穿网络。其中,引入了注意力机制来保留服装纹理细节,同时设计了双向生成一致正则化来保留用户的个人特征。最后,本文从电子商务网站Zalando①上创建了大型公开虚拟试穿数据集FashionTryOn。实验结果表明,所提模型能够生成比基准方法更优的试穿形象。
其他文献
<正>《义务教育化学课程标准(2022年版)》(以下简称“义教课标2022年版”)强调改进教学方式、优化教学活动,实现知识结构化以达成学科核心素养培育的目标。知识结构化建构,强调知识要素的整合并形成层次结构、从具体知识抽提认识思路乃至基本观念的统摄关联。如何促进知识结构化建构?这是化学教师需要研究的关键问题之一。为此,我们以初中化学“质量守恒定律应用”的总复习教学为例开展循证实践。
期刊
增材制造在高几何复杂度模型的中具有巨大的优势,可快速实现许多传统工艺无法完成的结构,目前增材制造在航空航天、医疗、建筑等人类生产生活的各个领域均有应用。在增材之中的从最初的模型设计,到物理性能分析,以及最终的打印路径规划中均涉及到大量的几何问题。其中的关键问题包括如何在保证结构强度的同时节省材料的使用从而实现轻量化设计;如何高效表达具有复杂几何细节的高精度模型;以及如何在高保真地快速生成制造文件。
学位
背景据世界卫生组织统计,肺癌的患病率和死亡率均位于恶性肿瘤之首,以立体定向放射治疗(SBRT)为代表的高精度放疗在肺癌治疗的多个阶段发挥重要作用。高精度的放射治疗需要高适形度的剂量施照,呼吸运动引发的肿瘤运动是导致靶区变异的重要因素,统一的外扩边界可能导致放疗脱靶或者较大的放疗损伤。包含呼吸运动信息的四维CT(4DCT)能够较好显示个体化的肿瘤运动,在线锥形束CT(CBCT)扫描可以获得在线内靶区
学位
研究背景及目的胆管癌(Cholangiocarcinoma,CC A)是一种发生于胆管的高度侵袭性肿瘤,按解剖学分类,由肝内型胆管癌(iCCA)、肝门部胆管癌(pCCA)和远端胆管癌(dCCA)三种亚型组成,由于其恶性程度高,预后极差。世界范围内胆管癌的发病率较低,故目前对其研究较少,但亚洲地区尤其中国发病率有上升趋势,且胆管癌由于发病隐匿,常规体检不易发现,故发现多属晚期,根治性手术率低,即使行
学位
期刊
非霍奇金淋巴瘤(Non-Hodgkin lymphoma,NHL)是一组具有高度异质性的淋巴组织恶性增殖性疾病,是血液系统最常见的恶性肿瘤之一。弥漫大B细胞淋巴瘤(Diffuse large B-cell lymphoma,DLBCL)是最常见的侵袭性NHL,占所有初治NHL的30%-40%,在形态学、生物学、免疫表型、遗传学及临床表现等方面均表现出高度的异质性。随着以利妥昔单抗为代表的新型分子靶
学位
研究背景:阿尔茨海默病(Alzhermer’s disesase,AD)是引起痴呆最常见的类型,其病理特点主要是过度磷酸化的tau蛋白堆积形成的细胞内神经纤维缠结和淀粉样蛋白β(Amyloidβ,Aβ)组成的细胞外淀粉样斑块沉积。有毒性的Aβ肽是由淀粉样前体蛋白(amyloid precursor protein,APP)经过β-和γ-分泌酶连续切割产生的。尽管目前针对Aβ开发的药物尚未成功,但淀
学位
研究背景目前,颈动脉硬化斑块是缺血性脑疾病的重要病因,其在全球的患病率逐渐升高,已经引起了越来越多的关注和研究。识别症状性斑块对于病人的治疗和预后有着至关重要的作用。随着技术的发展,人们研究了症状性斑块与狭窄程度、斑块成分等的相关性,并且很多学者也研究了先进的成像技术在探究症状性颈动脉斑块方面的应用。近几年,血管周围脂肪对动脉粥样硬化斑块的形成和促进的观点引发了新颖性、创新性的关注,并且其可以无创
学位
面对现实生活中爆发式增长的图像数据,基于计算机视觉的图像分析备受人工智能等领域学者的广泛关注。其中,图像视觉关系理解是图像分析的重要分支,旨在挖掘图像内容中所蕴含的视觉关系,是诸多实际应用,比如服装推荐、智能机器人、自动驾驶等,所需的基础技术之一。对视觉关系理解有需求的图像是多样的,根据图像所包含物体的个数,可将图像大致分为两类:简单图像和复杂图像。简单图像往往包含单个物体,且其背景较为干净;复杂
学位
世界正在进入以新一代信息技术驱动发展的重塑时期,人工智能(AI,Artificial Intelligence)作为其中重要的势能技术,具有激活实体经济溢出带动性的“头雁效应”,对构筑国家科技影响力具有举足轻重的意义。中国于2017年发布《新一代人工智能发展规划》,将人工智能正式上升为提高国家竞争力的重大国家发展战略,其相关的经济形态进入快速发展的扩张期。2021年发布的《中国互联网发展报告》显示
学位