基于轻量级标注的弱监督图像语义分割算法研究

被引量 : 0次 | 上传用户:lx2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语义分割任务是计算机视觉中的重要研究内容,广泛应用于自动驾驶、视频特效等领域。一般的语义分割深度模型训练需要获取像素级标注作为监督,然而这些像素级标注的获取成本非常昂贵。因此本文旨在研究基于轻量级标注的弱监督语义分割算法,使用获取成本更廉价的标注,如包围盒标注或图像级标签标注,完成语义分割模型的训练。在基于包围盒标注的设定下,本文提出了受限的前景分割网络(Constrained Foreground Segmentation Network,CFS)用于生成高质量原型。其它方法一般使用全尺寸全类别的语义分割网络优化传统方法生成的原型,而本文提出的CFS是输入区域被约束的类无关的分割网络,从而简化了优化问题。生成的原型经过矫正后可以作为语义分割模型训练时的监督。本文还提出了损失指导的自注意力模块(Loss-Guided Self-Attention Module,LGSA),使得语义分割网络具有较好的自我矫正能力。朴素的自注意力模块没有对关联矩阵的学习施加任何约束,而本文提出的LGSA在损失函数指导下,能够限制不同种类像素之间的信息传递,从而生成更合理的关联矩阵,进而不仅可以增强特征,还可以直接增强分割结果。消融实验验证了CFS和LGSA的有效性。本文提出的基于包围盒的弱监督语义分割算法在Pascal VOC 2012验证集上的mIoU指标可达72.4。为了进一步降低标注成本,本文还研究了基于图像级标签的弱监督语义分割算法。在分析了数据集中不可避免地存在数据耦合问题的基础上,提出了简单先验指导的孪生网络(Siamese Network with Simple Priors,SNSP),同时学习图像分类任务与类激活图矫正任务。通过引入极少量的简单先验,SNSP能缓解数据耦合的影响,并通过恰当的损失设计,减缓对简单先验的过拟合现象。SNSP中还包含了先验增强和类激活图矫正模块,用于优化生成的类激活图。这些类激活图合并后可以作为语义分割模型训练时的监督。消融实验验证了SNSP的合理性,并验证了LGSA在图像级标签场景下的有效性。朴素的自注意力模块会因为监督含有较多噪音,产生严重的信息错误传递,进而降低模型性能,LGSA则凭借更合理的关联矩阵,提升模型性能。本文提出的基于图像级标签的弱监督语义分割算法在Pascal VOC 2012验证集上的mIoU指标可达69.0。
其他文献
在国家、学校、社区、家庭四个层面大力推进体育家庭作业制度的背景下,政府、学校、社区以及家庭四个层面中仍存在着许多影响体育家庭作业制度实施的问题。本研究从家庭、学校、社区三个层面出发,通过研究教师支持、家庭支持、社区环境对体育家庭作业努力的影响以及社区环境的调节效应与家庭支持的中介效应,为政府政策制定、家校社关系发展、小学生体育家庭作业努力提高、体育家庭作业完成效果提高以及小学生综合身体素质提升等提
目的阿替利珠单抗联合贝伐珠单抗(atezolizumabplus bevacizumab,AteBev)可显著延长不可切除或转移性肝细胞癌患者预期寿命。其已发表成本效用分析是根据初步试验结果开展的。本研究从中国卫生体系角度和美国支付者角度出发,纳入最新试验结果更新其成本效用分析。方法(1)基础分析:基于三期临床试验(IMbrave150)结果,构建评价AteBev VS索拉非尼(sorafenib
自1991年索尼将锂离子电池(LIBs)商业应用以来,由于其卓越的能量密度和优异的安全性等,被广泛应用于消费电子等诸多领域。在超过25年的时间里,LIBs已成为一种流行的、可携带的、可充电二次电池,在个人电子设备、电动汽车、混合动力汽车和智能电网等领域有着广泛的应用。电极材料是锂离子电池中至关重要的一部分,电极材料制备、改性等受到了业界的广泛关注。磷酸铁锂(LiFePO4)具有优异的安全性、价格低
当今世界,人才竞争日益激烈,决定企业运营成败的关键因素之一就是人才,人力资源管理愈发彰显其重要性。员工流失率作为探讨热点,是一个组织健康与否最直接的体现也是衡量人力资源管理水平最直接的指标。离职率过高,影响组织日常运营;离职率过低,则易产生墒增,适当水平的员工流动则能激活组织效能。广告行业由于其行业属性,人员流动量相对较高。在数字化浪潮的冲击下,传统广告公司在业务迭代的同时,如何优化人力资源管理,
数字化转型背景下,档案数据治理是档案管理未来发展的新方向。企业档案数据治理水平关系到整个企业的档案工作质量及数字化转型。本研究聚焦于企业档案管理中的档案数据治理问题,运用扎根理论、专家咨询法与总分比重法,设置影响企业档案数据治理水平的关键过程域与关键实践,将其细化为企业档案数据治理成熟度评价指标并计算权重,构建企业档案数据治理成熟度模型。最后将成熟度模型引入企业档案数据治理的评估方法,用以评价企业
当今世界工业化进程加快,生态环境问题成为全人类共同面对的重大问题,严重威胁到了人类的生存与发展,同时良好的生活环境成为人民对于美好生活的向往的重要一部分。党的十八大以来,以习近平总书记为核心的党中央紧密围绕生态环境的治理、“美丽中国”、“绿色发展”以及“人与自然是生命共同体”等提出一系列新理念、新倡议,构成了习近平关于人与自然和谐共生的重要论述。习近平关于人与自然和谐共生的重要论述是对中国生态文明
氧化锌(ZnO)是一种非常重要的直接宽带隙半导体材料,室温下禁带宽度约为3.37 e V,较大的激子束缚能(60 me V),具有良好的光电特性、易制备和无毒等优点,目前广泛应用在太阳能电池、发光二极管和紫外光探测器等领域。ZnO纳米棒阵列具有独特结构、大比表面积和为电子提供直接输运路径的特性,是最有希望构建高性能紫外光探测器的纳米结构之一。本论文采用水热法,生长ZnO纳米棒阵列,使用它们作为光敏
废弃混凝土作为建筑垃圾之一,通常将其制成再生骨料后制备再生混凝土(RAC),使其在建筑行业得到循环利用以缓解建筑垃圾带来的环境问题。然而再生混凝土较普通混凝土力学性能和耐久性能差,这限制了再生混凝土在实际工程中的应用。陶瓷工业生产过程中损坏的产品以及建筑垃圾中建筑装饰陶瓷和卫生洁具产出了大量陶瓷废弃物。陶瓷废弃物所含主要物质为Si O2和Al2O3且其硬度大,这使得将陶瓷废弃物破碎后作为细骨料以及
近年来,随着新冠疫情的爆发,医药行业如何应对严峻挑战迎难而上,承担越来越多的社会责任成为公众关注的焦点。由于药品的特殊性,导致医药行业与其他行业所承担的企业社会责任有很大差异。尤其在抗疫救灾,疾病防治等方面,首当其冲的社会责任就是保障药品的安全,对人民的生命健康负责。然而,医药行业的药品安全事件频频发生,我国医药行业对于履行社会责任又缺乏量化的评价标准,难以衡量一个医药企业的社会责任履行能力。因此
振动输送机作为一种低频大振幅的近共振机械,由于其具有结构简单、性能稳定、输送距离长等优点,因此被广泛的应用于各种轻物料传送。橡胶弹簧作为振动输送机上核心部件,它在振动输送机的工作过程中主要起着减振、支撑和导向的作用,其动静态特性直接影响着振动输送机能耗的高低。因此,如何根据橡胶弹簧静动态特性对振动输送机能耗进行优化就显得很有必要性。本文以一振动输送机上橡胶弹簧为研究对象,对橡胶弹簧的静动态特性展开