基于峰值响应图的弱监督实例分割技术研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:xixijeffkol
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像实例分割任务的目标是对图像中的个体进行像素级的识别和检测,在自动驾驶、无人机飞行、地理信息系统、医疗辅助诊断、智能机器人等领域有着广泛的应用前景。近些年来随着深度学习广泛应用于计算机视觉各项任务,如图像识别、目标检测、语义分割等任务,并取得了辉煌的成果,实例分割任务也引入了深度学习技术并取得了显著的进步。由于全监督实例分割模型的训练数据需要大量极耗资源的像素级标注,基于弱化标注信息的实例分割技术逐渐引起研究者们的广泛关注。在此背景下,本文工作基于深度学习技术针对弱监督实例分割任务进行了深入研究。目前在众多弱监督实例分割的方法中,都是基于PASCAL VOC只有图像级标注信息的训练数据实现分割网络的训练。由于缺少实例级别和像素级别的真实标注,图像中物体的分类准确性、检测召回率、分割完整性成为该任务的难点,在此前提下,模型的性能更是无法顾及。本文针对上述难点问题进行了深入探索,提出基于峰值响应图的挖掘和过滤的对抗策略,以弥补图像级类别标注信息无法有效地提供实例的位置信息和形状信息的不足,进而有效地解决实例分割任务的分类、检测、分割问题以提高该任务整体的精确性。同时提出多尺度峰值响应图的概念,并基于峰值响应图构建级联架构的分割子网络,不仅能够提高模型的精度,同时显著提升模型的速率。本文工作的主要贡献如下:1.提出一种基于峰值响应图挖掘和过滤的对抗策略以提高弱监督实例分割的精度。该方法最终目标是为完全监督的形式训练实例分割算法提供精度更高的像素级标注。在此之前,引入对抗擦除策略拓展图像中物体的语义响应区域,并采用峰值响应图算法(PRM)进行峰值激活和响应。随后基于峰值的深度特征进行聚类分析,融合来自同一实例的不同峰值响应图以增加其完整性和多样性。在此基础上,采用过滤的思想基于峰值响应图设计一个评分机制,并从MCG算法提供的候选集合中以迭代的形式检索最佳项作为分割掩膜,而后结合类别和形状信息更新置信度进行过滤,以获得更为干净、准确、完整的分割结果作为像素级标注。该方法能够弥补因标注信息不足而带来粗糙分割的缺陷,因而提高弱监督条件下实例分割任务的精确度。2.提出一种级联架构监督训练的分割子网络以提高弱监督实例分割的精度和效率。利用来自主干网络中不同层特征进行峰值激活和响应以引入多尺度峰值响应图,该策略能够提高峰值响应图的多样性以及完整性。为实现更完整、精确的实例分割,基于分割掩膜的伪像素级监督,采用实例激活图算法(IAM)填充不完整、局部的峰值响应图至完整物体。在此基础上提出级联架构的分割网络,逐级采用不同完整程度的峰值响应图和分割输出作为下一级分割网络的输入进行监督训练,并依据上级分割结果提取更丰富的物体特征进行特征增强。因而模型测试时不再需要检索候选分割掩膜集合,不仅精细化分割质量,同时显著提升分割速度。基于以上研究成果,本文工作在PASCAL VOC 2012数据集上进行了验证,相比现有方法在精度和速度上有很大提升,并通过大量对比实验验证了各个策略的有效性。
其他文献
成像技术是光学学科的一个重要分支,在人们生活的各个方面有着广泛而重要的应用。根据傅里叶光学理论,人们基于光学傅里叶变换技术发展了丰富的光学成像与图像处理技术。然而,对于高速旋转物体的成像,由于物体的傅里叶频谱在旋转过程中不断变化,传统的傅里叶光学成像技术并不能高效地应对这一任务。1992年L.Allen等人提出并验证,具有螺旋相位波前的光束中每个光子携带轨道角动量(orbital angular
含氟化合物在药物分子中广泛存在,由于氟原子体积小,电负性强的化学特性,有机含氟物质普遍呈现出非常独特的物理、化学和生物特性,如高度物理和化学稳定性,其独特的生物活性也使得对一个药物分子进行氟代可以在不大幅改变其空间位阻的情况下调控该分子的电子云密度或脂溶性。据报道约20%的全球新注册医药分子和35%的新注册农药中至少含有一个氟原子。因此发展有机分子的氟化反应有重要的研究价值。我们发展了一种新颖的镍
近年来,轻量化已经成为汽车行业发展的必然趋势。凸轮轴作为发动机中的关键部件,直接影响着发动机的工作性能。传统的整体式凸轮轴已经不能在轻量化、耐磨性等方面满足现代发动机的要求。而组合式凸轮轴由于结构轻巧、材料优化匹配等优点,应用范围越来越广。目前,已经开发出多种组合式凸轮轴连接工艺,主要有:焊接、液力胀接、滚花连接等。本课题采用的热气胀锻成形是一种新型连接工艺,具有轴管尺寸精度要求低、成本低等优点,
关键零部件的腐蚀破坏是海工与化工装备的主要失效形式,而材料表面性能是主导抗腐蚀性能的关键因素。S32205双相不锈钢作为一种重要的海洋工程和化学化工材料,其性能决定了零部件的服役寿命。因此,对S32205双相不锈钢进行表面改性以提高其在复杂环境下的抗腐蚀性能对海工和化学化工装备的服役性能具有重大的意义。激光冲击强化作为一种非接触性表面强化方法,通过超高压等离子体冲击波轰击靶材,使材料表层产生剧烈地
目的:观察分析生理状态下胞宫相关足三阴经经穴体表微循环血流灌注量在月经周期中的表现,探寻生理状态下足三阴经经穴体表微循环反应月经周期变化的特异性规律。方法:本课题共纳入90例月经周期正常、无痛经的健康未育女大学生,受试者均来自于河北中医学院,实验自2018年4月至2019年1月于河北中医学院实验中心完成。应用激光散斑血流成像技术,观察受试者胞宫相关足三阴经原穴(太冲、太白、太溪)、郄穴(中都、地机
目的:下肢静脉曲张(Varicose veins of lower extremity,VVLE)是慢性下肢静脉疾病(Chronic venous diseases,CVD)患者中常见临床表现。疾病发展后期可并发淤积性皮炎、皮肤溃疡等并发症,严重影响患者的生活质量,加重了社会经济负担,引起了广泛的关注。目前国内外对于本病尚缺乏理想的治疗方案。本课题将中医中药和射频消融微创治疗联合应用,重点突出中西
自上世纪磁性随机存储器(MRAM)概念的提出以来,有关于以磁性材料中的电子自旋属性作为存储媒介的概念得到了广泛的关注。这一新颖的信息存储模式打破了传统的半导体存器件储的诸多局限,诸如器件微型化问题,高读写速度与长存储时间的同时实现问题,存算一体器件的存储墙问题等等。以电子自旋属性作为信息存储媒介的新一代磁性逻辑器件,表现出极大的潜力,以磁性随机存储器(MRAM)为代表的磁存储器件已经在航空医疗等领
近年来,深度学习技术已经在多个领域取得巨大突破,如目标检测、图像分类、语音识别、自动驾驶、超分辨率重构等,这其中,卷积神经网络模型无疑是最具代表性的深度学习技术之一。越来越复杂的模型虽然可以解决更多样化的任务,但是随之而来的是计算复杂度的迅速攀升与对大量存储空间的需求。目前对网络模型的训练与推理可通过超高算力的GPU集群来实现,然而在边缘设备上部署模型则面临着更复杂的挑战。首先,摩尔定律的限制使得
甘草是中医临床常用药,具有补中益气,缓急止痛,清热解毒,缓和药性等多种功效,因味甘入心经,用以治疗心动悸,脉代结。甘草酸(Glycyrrhizic acid,GA)是甘草的主要活性成分之一。甘草酸对心肌缺血保护作用的潜在机制,尤其是钙离子(Ca2+)电生理角度的机制探讨尚未见系统研究。缺血性心肌病是指多因素影响下的冠状动脉血流量减少,心肌的物质供应不足和代谢产物清除不力,导致心肌功能障碍的一种临床
目的:通过深入研究李领娥教授治疗头部银屑病患者的病例,观察中药淋洗方联合消银颗粒治疗头部银屑病(血热证)的临床疗效,结合专家的经验和智慧,完善银屑病的现代病机理论,形成优化的治疗方案,客观地评价此中药淋洗方治疗头部银屑病(血热证)的疗效及作用优势,丰富并优化头部银屑病的诊疗方案。方法:将我们在门诊和病房收集到的60例头部银屑病患者,随机分为治疗组(30例)和对照组(30例)。对照组进行消银颗粒口服