【摘 要】
:
人体解析是计算机视觉领域中一种复杂而精细的语义分割任务,是针对图像中的行人进行详细图像理解的关键步骤之一。近年来,随着深度学习的应用越来越广泛,在人体解析方面也取得了很大的进步。但是面对人体姿态的多变、服饰的多样以及复杂的场景这些情况,常用的仅依赖于语义分割模型的方法不再能达到人体解析任务所需的效果。区别于语义分割任务,人体解析需要对“人”这个特定对象进行信息分析与理解,其中对人体的各个细粒度部件
论文部分内容阅读
人体解析是计算机视觉领域中一种复杂而精细的语义分割任务,是针对图像中的行人进行详细图像理解的关键步骤之一。近年来,随着深度学习的应用越来越广泛,在人体解析方面也取得了很大的进步。但是面对人体姿态的多变、服饰的多样以及复杂的场景这些情况,常用的仅依赖于语义分割模型的方法不再能达到人体解析任务所需的效果。区别于语义分割任务,人体解析需要对“人”这个特定对象进行信息分析与理解,其中对人体的各个细粒度部件的研究对解析性能起着非常重要的作用。本文着重对人体各部件信息进行了研究,并扩展到现实中更常见的多人图像中。首先,为了捕获人体各细粒度部件之间的相关关系,本文利用了非局部(non-local)操作增强模型捕获远距离信息的能力,从而对人体部件内在的相对关系进行建模。同时,本文针对人体部件之间的大小差异,经过统计分析后采用分支结构,每个分支具有不同的感受野(receptive field),并使用注意力机制(attention)来增强其效果。在详细的对比实验中,本文首先基于模型resnet-101实现了人体解析基准性能,再将提出的各种改进算法嵌入基础模型中,最终在Look into Person(LIP)验证集上实现了53.32%m Io U(平均交并比,mean Intersection over Union)。通过实验验证了对人体部件的关注在人体解析任务中能起到关键性的作用。随着以行人为中心进行图像理解的各种任务的扩展,对人体各部件的研究可以融合姿态估计任务来进一步优化。接下来,本文提出了一种分层的语义分解组合结构,并将姿态信息嵌入结构中进一步关注人体各部件特征。相比已有的结合姿态信息的人体解析方法,本文着重解决了离散的姿态信息与连续的解析信息之间存在的矛盾,并且是第一次从显式的角度来连续化姿态高响应点信息。模型进一步深入地挖掘了人体各部件的有效信息。详细的消融实验证明了分层结构和连续化的姿态信息的有效性,最终在LIP验证集上实现了55.21%m Io U。最后,由于现实中更常见的是多人图像,本文将上面提出的人体解析算法扩展到针对多人图像的实例级人体解析任务中,即同时进行了行人实例分割任务和人体解析任务。在行人实例分割网络中,根据指定像素点坐标在网络中聚类,得到该像素点坐标对应的实例mask。在人体解析网络中,采用上面提出的人体解析算法。在多人数据集Crowd Instance-level Human Parsing(CIHP)上对这些算法进行了详细的对比,再次证明了上面提出算法的有效性和通用性,最终实现了60.81%m Io U。本文根据部件信息对人体结构进行建模,并且结合姿态信息对部件特征表达进行优化,其中在结合姿态信息的操作上提供了一种新的解决方案。最终在人体解析领域提出通用的有效框架,对人体解析的学术研究具有重要意义。
其他文献
目的:探讨D二聚体联合血栓弹力图在低血栓风险孕妇中预测产后静脉血栓性疾病的价值。方法:收集2019年10月至2022年6月在嘉定区妇幼保健院早孕门诊就诊且按就诊时孕产妇静脉血栓栓塞风险因素评分表评分,评分为低血栓风险(0~2分)的孕妇732例,其中发生血栓46例,未发生血栓686例。比较血栓组和非血栓组孕妇孕早期、孕晚期D鄄D聚体及血栓弹力图指标及其动态变化,logistic回归分析判断各指标对静
舰载机作为航母的作战武器,其出动架次率是衡量一个航母作战能力的重要指标,制定高效的舰载机保障作业调度计划是提高舰载机出动架次率的关键。舰载机保障作业调度通过组织和安排舰载机所需保障作业时间、顺序,使其在有限时间、空间和资源约束下高效完成整体保障作业。本文在分析舰载机保障作业流程、相关资源需求及约束的基础上,将舰载机保障作业调度问题刻画为资源受限的项目调度问题,并建立了相应的马尔可夫决策过程模型,包
随着信息化和智能化在工业生产过程中的不断推进,云计算和万物互联的时代加速到来,越来越多的工业过程的海量运行数据可以通过“工业云”储存。为了保障工业过程安全可靠的运行,急需基于大数据分析的工业过程监测方法,即故障检测、分类和辨识方法。因此,基于数据的故障检测、分类和辨识方法是当前工业界的重要需求,也是近年来学术界的研究热点和难点之一。本文研究了基于机器学习的工业过程故障检测、分类和辨识方法,具体内容
质子交换膜燃料电池(Proton Exchange Membrane Fuel Cell,PEMFC)是一种在较低温度条件下工作,能将氢气化学能直接转化为电能的能源转换装置。PEMFC具有转换效率高,工作温度低,工作噪声低,排放无污染的优点,是未来固定式发电和载具能源的一种优质方案。然而,寿命衰减是限制其应用的一个主要原因。在应用场景中变化的负载以及不当的操作对PEMFC的寿命有很大影响。因此,从
城市路网犹如城市的“毛细血管”,是支撑城市社会经济活动的重要基础设施,对生产要素的流动、城镇体系的发展有着决定性的影响。对城市路网进行合理的建模,是研究城市路网、指导路网的规划的基础。目前主要的两类路网建模方法是矢量化建模和栅格化建模。前者可以计算路网任意节点对之间可达性的精确值;后者以栅格区域为基本单元,可以看成矢量模型的一种近似,尽管存在计算误差,但是能够融合非路网覆盖区域进行可达性计算。本文
可见光遥感图像舰船目标检测在民用和军事领域都具有重要意义。本文以大幅面高分辨率可见光遥感图像为研究对象,开展星载舰船目标检测系统设计。星载舰船目标检测系统面临算法精度与速度矛盾、资源需求与供给矛盾,针对上述问题,本文从算法设计、部署优化、硬件设计等方面开展研究,本文主要工作如下:算法设计方面,针对遥感图像面临的复杂环境干扰与目标特性变化导致的舰船目标检测任务高虚警与高漏检问题,本文提出基于全卷积神
人手姿态估计是计算机视觉领域的重要组成部分。随着深度学习的发展,基于单目RGB图像的三维人手姿态估计算法也取得了显著进展。主流的方法通常使用卷积神经网络从输入中提取相关特征,并从这些特征中回归出三维人手关节点。本文从如何更好地利用先验信息的角度,对基于深度学习的单目RGB图像三维人手姿态估计算法展开了研究,针对现有算法存在的一些问题提出了以下改进。如何有效地引入人手的结构信息是这一任务的一个重要问
机器人技术是未来新型产业的高新技术之一。通过使用移动机器人代替人工作业,可以解放人力,同时避免一些未知的危险,保障人类安全。本文针对缺乏先验环境知识的工作任务,研究了多移动机器人系统的编队遍历探测路径规划,实现对环境的详细探测。首先,通过未知环境路径规划算法规划机器人的移动路径,结合建图算法获取未知环境的粗略地图。分析了基于Frontier的边界探索和基于RRT的边界探索这两种未知环境探索方法的优
IT运维服务人员调度问题主要考虑如何安排现有的运维人员,快速、有效地对故障进行处理,从而尽量降低故障产生的影响。其中,每个任务有不同的释放时间、截止时间、重要程度以及紧急程度,而运维服务人员具有异质性,可以完成的任务、完成各任务的时间以及单位工作成本都不同。这些情形在现实工作中大量存在,而理论研究尚存在不足,研究相应的服务人员调度问题具有现实意义和理论价值。本文讨论两类IT运维服务人员调度问题,建
路网属于关键基础设施,是维持国家经济运转和人们日常生活不可或缺的部分。然而,路网由于分布广泛,穿越了许多不同的自然地理区域,很容易遭受各类自然灾害(如地震、洪水、泥石流等)的影响。在这些灾害中,滑坡、泥石流等地质灾害是路网面临的主要威胁。实证研究表明,在世界范围内,泥石流发生的频率及强度将持续增加。如何提升路网应对泥石流灾害的韧性,降低泥石流对交通系统的影响,引起了政府和学术界的高度关注。目前,相