基于尺度选择和弱监督的图像语义分割方法研究

来源 :西南交通大学 | 被引量 : 0次 | 上传用户:darkage12223
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于图像目标在尺度、姿态、位置、光照及纹理方面呈现出的巨大差异,计算机视觉的语义分割任务变得越来越具有挑战性,它仍然是计算机视觉中尚未解决的问题。在计算机视觉众多的应用领域,比如机器人技术、制图或医学图像分析中,像素级标签的获得是最重要的步骤。近年来,基于深度卷积神经网络(DCNN)的语义分割方法取得了巨大的成功,并引起了许多研究者的兴趣。通常,训练这些网络需要大量的像素级标注才能获得令人满意的结果。而像素级标注的收集很困难、费时并且需要大量投资。因此研究人员提出了基于弱监督的DCNN分割方法,该方法仅需要较弱形式的像素级标注,例如斑点、涂鸦、边界框和图像级标签,但其分割精度远远低于完全监督的结果。本论文研究了弱监督方式下图像语义分割技术的理论和实践问题。主要贡献在于利用多层次分割目标的最优层次来增强弱监督标签,从而形成高质量的语义级像素级标注。图像内容理解本质上是多尺度的,多层次图像分割结果包含了丰富的图像目标信息。本文采用多层次图像分割算法来预测概率边界图,然后根据最优尺度、区域相似度矩阵和简单的中级特征来选择最优的目标分割区域。接下来,作为弱监督标注形成的初始化步骤,将已有的弱监督标注与显着性图进行组合,在目标最优分割区域上构建图形模型并求解优化后的标注。基于该思路,本文具体研究了4种弱监督语义分割方法。首先,提出了两种分别在没有和有语义分割网络训练情况下,基于最优分割的深度种子生成方法,并用于实现弱监督语义分割。在第一种方法中,提出了一种用于提高目标分割质量的新颖框架。使用简单的中级图像特征和动态规划策略,在多层次分割结构中选择最优目标尺度。同时为了获得弱监督标注,分别使用深度分类网络和显著性检测网络在图像上定位目标的深度种子。然后构造图模型,在模型节点上将信息从深度种子传播到未标记的区域,获得语义分割结果。在MSRC 21-class,PASCAL VOC 2012验证集和MS COCO验证集的实验结果表明,该框架能以较低的计算成本显着提高对象分割的质量,而无需训练任何分割网络。在第二种方法中,设计了一种新颖的框架可迭代地完善像素级标注并优化分割结果。首先,使用激活图和显著性图的组合生成初始的深度种子。为了产生高质量的像素级标注,在高质量的分割区域上构建图形模型,将监督信息从深度种子传播到未标记区域。在训练过程中,初始像素级标注用作监督以训练分割网络并预测分割蒙版。为了更正分割蒙版的错误标签,将这些分割蒙版与图模型相结合,生成更准确的像素级标注,并将其用作监督信息来重新训练分割网络。实验结果表明,该方法可以明显优于使用静态标签的弱监督语义分割方法。所提出的框架优于使用静态标签的弱监督语义分割方法,并在PASCAL VOC2012测试集、MS COCO验证集上获得了最先进的分割性能。其次,提出了基于可靠区域和斑点种子形式的弱监督语义分割方法。该框架通过优化分割网络,可生成高质量的目标像素级标注。为此将训练图像传递给多层次图像分割算法以预测边界图。然后选择候选分割层次的可靠区域,在显著性图的斑点种子引导下构建基于可靠区域的图形模型,并将监督信息从斑点种子传播到未标记的区域。在训练过程中,使用高质量的像素级标注作为监督来训练分割网络。在Pascal VOC 2012数据集上的实验结果表明,提出的分割方法优于之前的最新方法。最后,提了一种基于最优分割尺度的涂鸦种子的弱监督语义分割方法。它是一个新的框架,通过使用多层次图像分割算法预测边界图,并选择高质量的分割尺度。在初始化步骤中,将涂鸦标注和显著性图进行组合,然后在最优尺度分割上构建图模型。在训练过程中,通过使用初始像素级标注来训练分割网络。为了迭代地优化分割网络,使用图形模型来完善分割蒙版并重新训练分割网络以获得更精确的像素级标注。在Pascal VOC 2012数据集上的实验结果表明,提出的框架优于现有大多数弱监督的语义分割方法,提高了语义目标分割的性能。
其他文献
轨道交通作为国家的基础产业,其蓬勃发展对推动经济发展、改善民生具有积极且不可替代的作用,但是引发的高能耗问题也不容小觑,因此需积极探索实现轨道交通行业的绿色节能和可持续发展的道路。诸多新能源类型中,氢作为一种清洁、高效的可再生能源,已被多个国家纳入战略发展方向,燃料电池系统作为氢能利用的主要方式,在分布式发电与储能、电气化交通和军事等领域都有广泛的应用,燃料电池驱动的轨道交通车辆已成为交通行业绿色
学位
机构投资者作为金融市场的主要参与者之一,其投资规模相比于个人投资者(散户投资者)更大,因此错误的投资决策带来的损失更多。为了提高投资效率、抓住投资机会,机构投资者会采取更主动的方式来获取投资信息,调研行为应运而生。一方面,机构投资者实地调研(以下简称“机构调研”)给机构投资者提供了一条有效地获取上市公司内部信息的渠道。机构投资者通过调研活动加深了对被调研公司发展状况的了解,有助于更好的调整其持股行
学位
随着我国“一带一路”和“交通强国”战略进程的不断加快,交通运输类基础设施的建设需求急剧增加。由于PPP模式能够缓解政府财政压力,提高项目运营效率,近年来被广泛应用于基础设施建设领域,如高速公路的建设。高速公路PPP项目的特许期较长,其间存在的风险因素众多,对项目造成的影响较大,甚至会导致项目失败。为了吸引投资并保障项目顺利运行,政府通过提供担保来分担项目风险。政府如何提供担保、担保程度如何设定等问
学位
自动推理作为计算机科学和数理逻辑的交叉学科,是人工智能的核心部分。其最热门且应用最广泛的研究分支当属自动定理证明。在自动定理证明的研究中,涌现了一大批先进的一阶逻辑自动定理证明器。它们擅长在某些特定领域的小规模问题中自动地搜索问题结论的证明。然而,随着形式化技术的发展,越来越多来自大型知识库和实际应用中的问题能够被转换为一阶逻辑问题,从而能够利用自动定理证明器对其进行证明。因此,最初旨在用来解决小
学位
随着我国经济的高速发展,截止2020年,我国城镇化水平已超过60%,人均GDP更是超过了1万美元。同时,日益提高的生活水平也让人们对出行质量提出了更高的要求。因此,具有更加舒适、更加方便、能够实现门到门特点的小汽车成为了众多家庭出行的必备工具。然而快速增长的机动车保有量,不仅加重了城市的空气污染问题,还严重危害到人们的身体健康。因此,以交通活动为主因导致的空气污染问题是近年来百姓关心、交通管理部门
学位
由机载或星载传感器获取的高光谱图像可以在同一场景中记录数百个狭窄且连续的光谱带(通常在电磁光谱的可见和红外区域)中的信息。由于高光谱图像具有丰富的光谱信息,其已被广泛用于区分农业、矿物学等领域具有相似光谱特征的不同类型的土地覆盖类。但传感器的低空间分辨率使其无法分辨每个像元中包含的不同物质,高光谱图像中通常存在着大量的混合像元。如何从混合像元中提取和分离出各种物质的光谱以及确定其对应的比例成为高光
学位
镍钛(NiTi)合金作为一种典型的形状记忆合金,具有优良的超弹性、形状记忆效应、生物相容性和耐磨性等特性,目前已在许多工程领域中扮演着重要角色。然而,尽管NiTi合金具有可回复变形大的优点,但其循环稳定性和抗疲劳性能较差,功能性循环劣化现象限制了该材料更为广泛的应用。因此,厘清NiTi合金功能性循环劣化的微观机理,进而合理地预测和评估该合金器件的疲劳寿命,是十分有必要开展的重要研究内容。近三十年来
学位
近些年来,环境保护与可持续发展愈来愈成为我国经济与社会发展进程中的关键内容。随着能量系统的不断研究与发展,新能源系统在各领域的应用正逐渐成为实现节能减排的重要途径。在新能源系统中,氢燃料电池相比于传统能量转换装置具有零排放、零污染以及转换效率高等优点,在环境友好方面极具优势。而随着经济发展与城市化进程的不断推进,城市轨道交通的需求也呈现出上升趋势,因此针对燃料电池有轨电车研究符合当今城市轨道交通技
学位
协同运输组织是系统内各制式轨道交通列车开行和旅客运输组织的重要关键,对提升区域轨道交通系统旅客运输服务质量、跨制式旅客运输组织效率、系统总体运能至关重要。随着区域内包含的轨道交通制式种类的不断增多和路网规模的的不断扩大,区域内旅客的出行数量也随之增长,旅客的出行环境也在不断发生变化,造成一系列旅客出行问题的出现,尤其对旅客的跨制式中转换乘组织造成极大影响。跨制式出行旅客作为轨道交通旅客运输的重要组
学位
近年来,随着沿海地区经济快速发展,以及水下隧道建造技术逐渐成熟,我国海底道路隧道数量日益增多,加之均属于城市隧道,为实现交通多级分流,便出现了具有多出入口多匝道特征的城市海底互通立交隧道。(1)城市隧道具有交通车辆更新快、交通量激增和新能源车增多、交通量大易阻塞的交通特点;(2)海底隧道具有相对湿度高、富含盐雾浓度和酸性气体浓度累积高的腐蚀性通风环境特点;(3)互通立交隧道具有多隧道、多交叉和多点
学位