基于双重上下文和类间关联的服装解析

来源 :东华大学 | 被引量 : 0次 | 上传用户:longriver0001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
服装是人们日常生活的基本需要,同时也是人们展现个性的重要途径。近年来随着各种网络购物平台的崛起和深度学习技术的不断发展,服装领域出现了服装推荐、搭配、分类和虚拟试衣等新兴应用。作为实现这些应用的关键技术,服装解析可将服装图像分割成多个部分并为每个像素分配对应的标签,从而为后续的服装特征提取、分类和推荐等提供精确的语义分割结果。由于服装图像具有较复杂的款式、纹理和风格,且存在背景繁杂、人体姿态多变和非刚性等特点,这些都给服装解析带来了不小的挑战。本文针对当前服装解析算法中同一服装被划分为多个不相邻区域、服装之间尺度差异较大等问题,提出了基于双重上下文和服装组合信息的改进服装解析算法。研究内容主要包括:(1)针对服装图像中固定款式服装在不同区域的特征上具有紧密关联性的特点,提出了基于注意类特征模块ACFM(Attention Class Feature Module)来捕获图像的类级别上下文,通过由粗到细的分割结构来计算图像中每个类别的平均特征,并比较每个像素的特征与各类别平均特征的一致性。此外,还利用像素相关性模块PCM(Pixel Correlation Module)来捕获图像的全局上下文,通过修改和整合自注意力机制来计算图像中任意两个像素点间的相似度,并使用像素相似度来改善注意类特征模块的输出特征,从而得到聚合了类级别上下文和全局上下文的增强的特征图,有效改善了服装解析中的误分类情况。(2)针对服装的组合特性提出了基于类间关联改进的服装解析方法,使用每两类服装之间的关联性作为服装组合信息,其核心是在Gram矩阵的基础上对当前输入图像计算对应的类间关联矩阵,并且使用该矩阵的信息在训练阶段通过移动平均策略不断更新类间关联存储模块ICMM(Inter-class Correlation Memory Module),从而获得数据集级别的服装组合信息,实现了服装解析中不合理服装组合的自动过滤。(3)针对服装图像中部分物体尺度差异较大的问题,基于多尺度聚合对上述服装解析方法进行进一步的改进,在初步聚合了数据集级别服装组合信息的基础上使用多个不同大小的卷积核和全局平均池化来提取图像中不同尺度物体的信息,从而得到聚合了多尺度信息的特征图,有效改善了细小物体的分割效果。本文在CFPD数据集和CCP数据集上进行验证实验,结果表明各数据集的解析精度较PSPNet、DANet和Deep Lab V3等SOTA(state-of-the-art)算法都有一定的提升。其中,基于聚合类级别上下文和全局上下文的服装解析Res Net网络,在CFPD数据集上达到了93.03%的PA和50.95%的m Io U;而以多尺度的方式聚合服装组合信息后,分割精度进一步提升到了93.15%的PA和51.24%的m Io U。实验证明本文的方法能够较为准确地解析出不同尺度的服装物体,并且能够排除一些异常的服装组合,具有较好的实际应用价值。
其他文献
叙述了铷、铯资源在全世界及我国的分布特点。综述了近年来铷、铯矿石的处理方法与铷、铯金属主要的制备技术研究进展,针对其中的离子交换、溶剂萃取等工艺的原理、特点进行了分析与总结。简述了铷、铯金属近些年在量子计算、特种玻璃及电子元件等领域的应用现状与前景,并对其未来的发展进行了展望。
期刊
报纸
视网膜血管的表征变化与许多综合性疾病的早期诊断密切相关,对血管结构的性状分析是疾病诊疗的重要依据。基于计算机的视网膜血管自动分割技术,能够降低视网膜血管分割任务的资源消耗、节约专业医师的人力成本,是计算机视觉和医学图像分析领域研究的热点问题,基于上述背景,本文针对深度学习视网膜血管分割方法的标签获取、血管拓扑结构增强、多任务学习三个方面进行了研究:(1)提出了视网膜图像血管标签自动提取算法。近年来
学位
服装衣长、领型等标签信息在电商平台的销售过程中起着重要作用,但是传统通过人工标注的方式费时费力,并且非常容易产生错误。为了解决该问题,本文依托课题组服装云交易平台,将计算机视觉与深度学习技术应用于服装标签识别,提出了一种改进的Inception-v4服装标签识别模型,并将其应用到服装上架过程中。服装商家只需上传服装图像,系统就能自动识别服装标签,再经过商家校对后存入数据库中,提高服装标签的准确率的
学位
高光谱图像包含丰富的光谱和空间信息,且具有较高的光谱分辨率,图谱合一的特性使得高光谱图像在对地遥感观测等研究领域中,表现出较高的应用价值。然而,复杂的地物分布和有限的图像空间分辨率所引起的混合像元问题,往往限制着高光谱图像实际应用的准确性。为了从高光谱图像中提取更精细的信息,为后续研究和应用提供更精确的数据参考,光谱解混成为了高光谱图像处理中的一项关键技术,旨在提取构成高光谱图像每个像元的纯物质端
学位
生物体内存在一套复杂的基因调控机制,这种调控机制控制生物的生长发育过程,研究者将这种调控机制定义为基因调控网络(Gene regulatory networks,GRNs),基因调控网络是理解生物系统的重要工具。随着单细胞测序技术的快速发展,单细胞转录组学数据的规模越来越大,准确的从大规模转录组学数据中推断基因调控网络对于理解生物调控过程至关重要。近年来已经有研究者提出了大量算法对基因调控网络进行
学位
社区指的是网络中内部连接紧密但与外部连接稀疏的子网络。k-core社区是指图中的一个连通子图且该子图中的每个顶点的度都大于等于k。由于k-core社区可以在线性时间内求解的特点常被用于其他社区结构的求解。当前对于k-core社区的搜索主要是通过KHT(k-core hierarchy tree)索引来实现,该索引通过将图遍历转化为树遍历来加快查询速度,但在查找目标社区时,依旧存在遍历效率低的问题,
学位
某炼油化工企业汽车成品油装车油气回收装置在运行过程中因为吸收塔压力高,导致装置联锁停车。通过对变量记录的分析,找到了事件发生的原因,并在控制措施落实等方面给出了对策和建议。
期刊
社区是数据图中符合一定结构及紧密程度要求的子图。社会学中的关系网络,生物学中的蛋白质网络等网络中都存在着联系紧密的社区。社区搜索的目标是从图中得到符合定义要求且包含查询顶点的社区,社区发现的目标是从图中获得所有符合定义要求的社区。实际应用中用户对社区结构有着多样化的需求,现有的基于子图连通性的社区定义主要是以完全连通子图作为社区的基础连通结构,通用性不足。针对以上问题,本文给出了相应的解决方案,主
学位
本文根据天津市旅游业发展的最新指导性政策与京津旅游资源分布差异,天津市河北区在近代历史文化旅游资源方面,从类型、分布、特色、数量、现状和市场多角度与和平区对比,对开发利用中的问题与短板做了细致的调研,本文据此结合《天津市促进旅游业发展两年行动计划》,对河北区近代历史文化旅游资源如何进一步开发提出建议。
期刊