基于深度神经网络的复杂场景人体语义分割方法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:gideonkim
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在海量的视觉数据中,人体是最常见和最重要的目标之一,准确地分析人体目标是理解这些以人为中心视觉数据的基础。人体语义分割是一项具有挑战的人体分析任务,属于通用语义分割的子任务,旨在将人体分割成若干个语义一致的连续区域。人体语义分割的结果不但直接提供了人体结构信息,还可以用于辅助人体相关的下游任务,例如人体姿态估计和行人身份再识别等。近年来,基于卷积神经网络的深度学习方法逐渐兴起,促进了人体语义分割技术的快速发展。但是,在一些复杂场景下实现高精度的人体语义分割却面临很多挑战(例如分辨率和标签问题),限制了人体语义分割的应用推广。为此,本文针对现存挑战提出了四种具有针对性的解决方案,具体研究内容如下所示:(1)针对图像分辨率过低的问题,提出了一种基于先验知识引导的低分辨率人体语义分割方法。提出方法包含人体图像超分辨率模块和人体语义分割模块。在人体图像超分辨率模块,首先设计了一种基于空洞卷积的轻量化多尺度块,然后,构建了包含图像重建分支和先验估计分支的轻量化卷积神经网络。在图像重建分支,从不同的感受野上提取多尺度特征,为低分辨到高分辨的像素映射提供丰富的上下文信息。在先验估计分支,分别将估计的人体分割图和非下采样剪切波子带作为全局形状和局部纹理先验知识,可以有效提升局部细节的重建质量。实验结果表明,与现存方法相比,提出人体图像超分辨率模块在仅用1/8参数量的情况下,重建出了更高质量的高分辨率人体图像。此外,提出的人体语义分割模块显著地提高了低分辨率人体图像的语义分割精度。(2)针对特征分辨率不充分的问题,提出了一种基于混合分辨率网络和辅助任务的人体语义分割方法。首先,搭建了一种混合分辨率网络,可以提升特征表示的判别能力。其次,构建了包含多个阶段的双任务级联框架,每个阶段通过边缘检测和语义分割特征学习出交互信息,为下一阶段双任务优化提供显式的指导。最后,设计了一种边缘引导的区域互信息熵损失函数,利用边缘检测结果隐式地保持了人体边缘附近预测结果和真实标签的高阶一致性。实验结果表明,提出的混合分辨率网络在引入较少参数量的情况下使人体语义分割精度得到显著的提升。在此基础上,引入边缘检测作为辅助任务又进一步地提高了分割精度,与基准方法相比,在平均重叠度指标上获得了3.42%的提升。(3)针对高质量标签稀缺问题,提出了一种基于抗噪声混合学习的半监督人体语义分割方法。首先,搭建了一种用于人体语义分割的层次信息传递网络,利用人体不同结构间相互关系提升解析的推理能力。接着,利用少量标注数据训练人体语义分割网络,训练好的模型不但可以给未标注图像分配伪标签,还可以根据预测概率的分布识别出伪标签上的噪声。最后,结合积极学习和消极学习提出了一种抗噪声的混合学习方法,通过降低噪声带来的负面影响更加有效地利用伪标签。实验结果表明,提出的层次信息传递网络在全监督设置下实现了最佳的人体语义分割精度。此外,与现存的半监督方法相比,提出的抗噪声混合学习方法在平均重叠度指标上获得了4.47%的提升。(4)为了缓解对真实数据昂贵标签的依赖,提出了一种基于潜在域和元学习的域适应语义分割方法,更好地使通过合成数据训练的模型适应到真实场景中的数据。首先,通过风格迁移模型生成潜在域图像,这些图像和虚拟(源域)图像具有相同的语义内容,并且和真实(目标域)图像具有相似的风格表观。然后,搭建了一种包含多个域配对的域适应框架,将潜在域作为连接源域到目标域间知识传递的桥梁,降低了域适应过程知识传递的难度。最后,通过元学习策略优化模型,从源域和潜在域配对中学习出元知识,用于指导模型更好地从源域虚拟数据适应到目标域数据。通过标准数据集上的评估发现,提出方法在人体语义分割以及更通用的语义分割任务上均实现了最佳的分割精度。通过模型分析结果看出,提出的元学习框架可以更好地利用潜在域数据来提升模型泛化能力。
其他文献
水体有机污染物对人类健康及生态系统造成了巨大的危害。目前广泛用于去除水中有机污染物的吸附、催化降解技术的核心是功能材料的设计及结构调控。本文以细菌纤维素(BC)为基础,水中有机污染物的去除为导向,吸附、降解技术为工艺技术,系统研究了功能材料的结构调控与活性位点的构建。本文设计制备了一系列的BC基吸附、催化降解功能材料,并通过实验研究阐明了其中的构效关系,为环境功能材料的设计提供了策略与理论支撑,有
学位
化石资源的大量消耗及随之而来的环境污染问题使得开发新的可再生能源成为当务之急,其中生物柴油被认为是优质的化石燃料替代品。微生物油脂(大多以甘油三酯的形式存在)由于其高C、H含量,是制造高能量密度液态燃料(如生物柴油和航空燃料)的理想原料。自然界中许多微生物具有合成微生物油脂的能力,其中解脂耶氏酵母(Yarrowia lipolytica)是“公认安全的”微生物,具有宽泛的底物谱、优秀的微生物油脂合
学位
大量的研究结果表明三维钙钛矿的稳定性较差,在水汽、光照和加热等因素作用下均能导致材料的分解。为了提高杂化钙钛矿材料的稳定性,在2014年,Karunadasa等人首次将大尺寸有机阳离子引入到杂化钙钛矿结构中制备出了高稳定性的层状钙钛矿PEA2MA2Pb3I10(52%RH,40天)。但是,大尺寸有机阳离子的引入会与无机八面体层作用形成量子阱结构,使层状钙钛矿材料具有比三维对应物更强的介电限域效应。
学位
核能具有清洁、高效且无温室气体排放的优点,被认为是最有潜力替代传统化石燃料的优质能源。然而,核能的广泛应用可能会导致放射性污染,从而限制其发展。放射性碘是放射性核素的一种,排放到环境中后,将会对生物与生态环境造成严重威胁。因此,核能利用过程中,有效处理泄漏的放射性碘对于其可持续性发展具有重要意义。本文针对目前银基、铜基吸附剂用于碘离子(I-)去除时所存在的不足,构建了多种低廉高效的多孔材料,并以与
学位
随着环保意识的提升,废弃塑料的环境污染现状越来越获得人们的重视。伴随着爆发性增长的产量,塑料垃圾中以塑化剂为代表的化学物质会通过泄漏等方式污染周边环境。传统的邻苯二甲酸酯类塑化剂(PAEs)具有潜在的环境污染和毒性,其使用范围和产量逐渐被限制使用并退出市场。为了满足市场需求,柠檬酸酯(Citric acid esters,CAEs)作为一种“绿色”替代性塑化剂被广泛应用于各类商业产品中。然而随着深
学位
纳米颗粒广泛应用于材料设计、材料合成、催化、能量存储和转换以及燃烧应用等研究领域,其氧化机理的研究对理解、预测和调控材料特性至关重要。纳米含能材料燃烧涉及复杂和极快的物理化学过程,其机理尚未得到很好阐释。本文从原子尺度出发研究铝基纳米颗粒在燃烧中形态演化、相变机制、基元反应等热力学和动力学行为,揭示铝基纳米颗粒的氧化机理和形貌演变的内在机制。运用分子动力学模拟研究纳米铝与含氧气体的反应机制、改性的
学位
近年来,恐怖袭击以及爆炸事件频繁发生,这严重影响了经济发展,对人民生命财产安全造成了重大损失。防爆安全存在的弊端是目前全世界关心的重点问题。爆炸往往伴随着破片和冲击波,针对两者联合作用下的防护一直都是重要的探究内容。传统防护结构有重量大、运输难等缺点。泡沫铝材料被认为是一种有着均匀分布在铝或铝合金基体中大量孔洞的多功能新型材料,存在轻质量、耐疲劳、高比强度等多个优点。泡沫铝材料与夹层结构的结合为研
学位
非共价相互作用,尤其是氢键和π-π相互作用,能够显著地影响含能材料的能量水平和安全性能。本论文运用密度泛函理论(DFT)、分子动力学(MD)及过渡态理论(TST),系统地研究了HNS(2,2’,4,4’,6,6’-六硝基芪)基共晶的几何结构、电子结构和分子间相互作用随非含能共晶组分的改变而发生的变化,探索了不同类型非共价相互作用对它们撞击感度的影响规律;基于团簇分析方法,研究了α-HMX(α-1,
学位
图像分割是指利用颜色、纹理、形状等不同特征将图像划分为若干个互不相交的区域,使得这些特征在同一区域内具有一致性,而在不同区域间具有互异性。图像分割是计算机视觉的基础任务。根据是否有用户参与可以将图像分割分为自动图像分割与交互式图像分割。自动图像分割在某些特定应用场景下得到的分割结果不一定满足用户的需求。而通过简单的用户交互(例如点击、涂鸦线以及边界框等),用户可以对分割过程进行干预与控制,以获得满
学位
脉冲星(Pulsar)是世界上各大射电、高能望远镜主要观测和研究的重要天体之一。目前已有3000多颗脉冲星被发现和研究。但是脉冲星的辐射机制一直是个问题。对于一些化学奇异星(Chemically peculiar stars,CP),例如磁化学奇异星(magnetic chemically peculiar stars,缩写为CP2)的射电辐射表现出与脉冲星相似的观测特征。而这类恒星的射电辐射机制
学位