基于深度学习的多模态服装搭配算法研究

来源 :武汉纺织大学 | 被引量 : 0次 | 上传用户:eric73384
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着新一代信息技术与制造技术的深度融合发展,互联网经济已经融入了大众生活,人们的日常生活与网络购物实现了硬拉勾。服装行业在在线购物市场中所占份额较大,服装商品的数量和种类呈爆炸式增长,如何快速、个性化的为客户提供心仪的产品,突破网络销售瓶颈的有效方法是对多模态数据的精准化处理。正因如此,服装搭配算法应运而生,针对用户的实际需求提供给用户最合理的服装搭配方案。对于现阶段服装搭配任务中视觉特征提取不精确及服装美学的忽视,基于深度学习的理论,本文依据搭配规则给出了通道注意力和孪生神经网络的两种服装搭配的解决方案,主要贡献如下:(1)本文提出了基于通道注意力的多模态服装兼容性建模方法。该方法基于高效通道注意力模块(Efficient Channel Attention,ECA-Net)、多层比较网络(Multi-Layered Comparison Network,MCN)、残差模块和多模态特征融合,从服装图像数据、文本描述数据分析服装搭配问题,研究上下衣服装以及配饰搭配推荐。通过在卷积神经网络(Convolutional Neural Networks,CNN)的残差模块上引入ECA-Net,以增强服装低级(颜色、纹理等)和高级(风格)等重要特征,抑制无效特征。另外,采用组合损失函数来处理服装正负样本不均衡的问题,提升了搭配性能。(2)本文还提出了基于孪生神经网络和自动编码器的服装美学搭配方法。该方法从服装图像数据、文本描述数据分析服装搭配问题外,还结合了美学特征,研究了基于多特征融合的成对服装搭配问题。相比于传统的图像特征,美学特征可以适应“光环效应”给用户更好的视觉体验。为了提高服装实际的可穿搭效果,利用孪生神经网络将图像特征映射至高维特征空间,从而改良对服装推荐模块兼容性低下的问题。此外,为补足异质服装单品之间的差距,在BPR-DAE模型对服装特征提取的基础上,设想一个可能存在的兼容性空间,通过自动编码器将大脑启发的深层网络(Brain-Inspired Deep Networks,BDN)提取的美学特征融入服装图像-文本兼容性空间中,结合三种特征向量的学习模型实现成对服装的兼容性搭配。最后,本文在Polyvore数据集、Fashion VC数据集和AVA数据集上进行了实验,均取得了良好的效果。
其他文献
毛细黄铜管具有优良的机械加工性、导电性及导热性,因此在电子信息、火力电力和船舶等领域受到广泛地应用。然而,耐腐蚀性与耐磨性的不足限制了它的使用寿命与应用范围。本研究采用化学镀技术在长径比为100的H62黄铜管内壁上成功制备了耐磨耐蚀的镍合金镀层。因管内镀层的特性很难被表征,故采用H62黄铜板作为基体施镀来探索相关工艺参数。利用扫描电子显微镜(SEM)、X射线衍射仪(XRD)、显微硬度计和电化学工作
学位
存在于墙板梁柱交界处的建筑节点结构是传热过程的薄弱环节,已有研究表明该部位的传热量占整块墙体传热量约30%。因此对于建筑节点结构传热量的准确计算是获取整个围护结构准确传热量的前提。但是目前针对建筑节点结构传热问题常用的处理方法存在不足,一方面是许多常用建筑能耗模拟软件过度简化为一维问题没有考虑到建筑节点处的热桥效应影响,另一方面是现有的大量热桥相关文献和部分多维传热计算软件是利用纯传热模型求解而没
学位
基于2D图像的虚拟试衣任务旨在将给定的店内服装图像迁移到参考人体图像对应的服装区域上,其中包含的潜在应用价值和商业潜力使其在近期受到了研究者的广泛研究和关注。虚拟试衣任务首先要变形店内服装使其和身体姿态对齐,从而得到对齐的服装图像,然后根据服装的形状生成对应服装的手臂和脖子,最后将对齐的店内服装图像,生成的手臂和脖子部分,以及身体不会发生变化的区域(头、腿等)进行融合,生成期望的虚拟试衣结果。然而
学位
随着计算机行业的不断发展,计算机仿真技术在计算机动画、工业设计与制造以及AR/VR方面的应用越来越广泛。另一方面,由于纺织工业迅速发展,织物仿真技术在织物的设计、材料的力学性能模拟以及智能制造等领域发挥着越来越重要的作用。这使织物仿真成为计算机仿真的热点。然而,针织物的仿真是织物仿真研究中的难点。由于针织物的编制方式各异、建模复杂,导致不同编织方式物理形变特征都不尽相同,使用布料、机织物仿真常用的
学位
随着我国经济的飞速发展和物质生活水平的显著提升,人们对于自身着装越来越重视。同时互联网技术的快速发展,也促使越来越多的时尚公司将主要业务渐渐转为线上,越来越多的人选择线上购物平台来购买服装。因此,研究线上可用的服装时尚趋势预测和时尚推荐方法,对于服装时尚公司以及时尚消费者都有着至关重要的作用。但由于线上服装时尚相关信息呈爆炸式增长,且时尚服装的更新周期变得越来越短,时尚公司需要及时从以往数据中获取
学位
随着计算机和人工智能技术的进步,虚拟手术获得了空前发展,其中人体软组织形变模型的准确与否是虚拟手术质量的决定性因素之一。为了提高人体软组织形变模型的准确性,就必须要精确测量在活体状态下的人体软组织材料的参数。当前,在临床上普遍使用的测量方法可分为接触式和非接触式。接触式仪器如皮肤弹性测试仪,其会对自然状态下的软组织产生一定的干扰,采集到的参数会产生较大偏差;而非接触式方法都得益于医学影像技术的发展
学位
近年来,随着智慧城市和智慧安防等概念的提出,行人重识别作为一项重要的智能辅助手段,得到越来越多的关注。然而,现实生活中因物体遮挡、姿态变换、背景差异等因素的干扰,导致该任务在实际执行过程中的表现并不稳定。经分析发现,现有重识别网络大多是基于单一的行人浅层特征来进行行人相似度的判断,忽视了行人所具有的空间维度信息,如人体不同局部间的空间信息以及人体与环境间的关联信息等。基于此,本文从多区域关联的角度
学位
近年来,随着我国提出要提升国内高校竞争力,重视高校创新发展,构建活力开放的高校环境等高校建设要求,使得高校校园文创产品的创新设计越发受到关注。高校校园文创产品作为校园文化建设的重要组成部分,不仅能传承高校文化,传播精神理念,增强师生凝聚力,更是提升高校品牌价值的重要手段。对彰显高校文化底蕴,展示高校良好形象起到不可忽视的作用。然而,论文通过研究发现我国现有高校校园文创产品多数存在缺乏独特性、缺乏实
学位
随着2025智能制造与服装产业的融合发展,功能化、智慧型的服饰产品在产业端、消费端逐渐兴起。在这一背景下,本文提出了基于深度学习的智能服装研制方法和用于智能服装商品的推荐算法。针对目前运动辅助型智能服装在人体运动信号分析不足的问题,本文基于高精度传感芯片研制了一款实时记录人体运动信息的智能腰带,并提出了一种用于运动信号分析的人体姿态识别模型。首先基于传感芯片设计了一款用于监测人体腰部重心运动的智能
学位
基于给定文本描述来生成图像是近几年深度学习领域中的研究热点。借助生成对抗网络和多层次语义编码器的引入,所生成图像分辨率和文本-图像语义一致性获得大幅提升,但合成图像在细节真实性与字词语义一致性约束方面仍有欠缺,在不同类型数据集上的生成多样性和鲁棒性也有待提高。针对上述问题,本文在生成对抗网络的结构和损失约束函数方面进行了优化探索,并通过多层次的实验对算法进行验证研究。本文的主要贡献为:(1)本文提
学位