基于显著信息融合的弱监督语义分割研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:hengtonggss
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语义分割是计算机视觉领域常见的任务之一,强监督学习下的语义分割研究往往基于像素级别的标签,需要耗费大量的人力物力去进行人工标注。本文主要研究的是基于图像级(Image-level)标签的弱监督语义分割问题。弱监督语义分割研究中,图像中目标对象的弱监督定位问题是主要的研究方向和突破点之一。现有的基于图像级标签的分割模型绝大多数都采用CAM(Class Activation Mapping)算法进行弱监督定位,并得到目标的种子区域。但CAM得到的初始种子区域往往非常稀疏,覆盖面积小,针对多任务,多目标图像的定位效果也不是特别理想,这样会影响整个分割模型的精度。图像的显著信息同样包含了大量目标对象的位置信息及边界信息。实验证明,显著信息能够很好的补充说明弱监督定位信息。但在目前的语义分割任务中,显著信息很少用于目标对象的弱监督定位,或者仅仅只用于背景的定位。因此,本文考虑充分发挥显著信息的作用,将其融合到弱监督定位算法。并在此基础上,进一步提高弱监督语义分割的精度。针对上述问题,本文的主要工作有:(1)提出新的弱监督定位算法Sal-CAM(Salient Class Activation Mapping)。针对CAM(Class Activation Mapping)算法在语义分割任务中提供的定位信息稀少,以及定位不准确的问题进行优化,提出了Sal-CAM算法。一方面,将图像的显著信息融合到弱监督定位算法中;另一方面,改变原CAM使用GAP(Global Average Pooling)进行池化的方法,采用对梯度求平均的思想,保证原网络结构的不被改变。实验证明,Sal-CAM具有更高的弱监督定位精度,并且能为语义分割任务提供更多可靠的定位信息。(2)提出了针对动物视觉兴趣目标的弱监督定位算法Pan-CAM(Panda Class Activation Mapping)。我们通过开展国内首列大熊猫眼动实验,得到大熊猫视觉感兴趣的图像传统特征。利用这些传统特征对弱监督定位算法(Sal-CAM)进行优化,提出了Pan-CAM算法。实验证明,Pan-CAM算法能更准确地定位到图像中熊猫感兴趣的目标。(3)在Sal-CAM的基础上得到语义分割任务所需要的初始种子,结合种子区域扩张SRG(Seeded Region Growing)的思想,同时采用综合考虑前景与背景的损失函数,提出新的弱监督语义分割模型S-SRG(Salient Seeded Region Growing)。实验证明,S-SRG模型比同类型的语义分割模型具有更高的分割精度。
其他文献
干腌火腿是以猪后腿为原料,经低温腌制和高温发酵而成的一类腌腊肉制品。品质好的火腿皮面金黄、肉色玫红、脂肪洁白、风味浓郁,深受广大消费者的喜爱。然而随着社会的进步,
我国《刑法》对敲诈勒索罪的规定采用的是罪名式的表述形式,理论与实务界对于权利行使与敲诈勒索罪的界限认定问题至今还没有统一的定论,目前的主要争议焦点在于被告人的行为是否超出民事纠纷的范畴?能否以索赔数额巨大就断定其具有非法占有公私财物的目的?被告人所实施的行为是否构成敲诈勒索罪?本文运用概念分析、比较分析与案例分析的方法试图对上述问题做出回答。论文分三大部分,第一部分:分析整理有关权利行使与敲诈勒索
根据医学报告指出,我国疾病致死率和致残率最高的依旧是脑卒中这一疾病,且发病人群的年龄呈现年轻化事态,加剧了家庭成员对脑卒中患者照顾上的负担。如何让脑卒中患者通过使用康复锻炼器材获得更好地康复效果,早日实现生活的自理能力,发挥自身社会的价值,是值得关注和研究的课题。本课题选取脑卒中康复家用锻炼器材设计研究为切入点,从用户体验的角度对脑卒中康复器材进行研究。首先,在脑卒中医学上康复要求研究的基础上对现
我国地质条件复杂,在煤矿开采过程中,断层是经常遇到的地质构造。特别是工作面沿断层布置时,在工作面端头与断层之间会形成断层煤柱。受开采扰动影响,断层煤柱易破坏失稳,保证断层煤柱稳定性,对工作面安全回采意义重大。基于此,本文以梁宝寺煤矿3103上工作面为研究背景,通过理论分析、数值模拟、灰色关联分析等方法,研究工作面沿断层开采条件下,断层煤柱稳定性与煤柱宽度、开采高度、断层倾角、开采深度等影响因素的关
泰国的汉语教学发展迅速,已经成为学习汉语人数最多的国家之一。外派教师也多,因此关于泰国汉语教学的研究已经不少。但是,泰国各个地区的经济发展水平不同,导致不同地区的汉语教学水平参差不齐。经济欠发达地区的汉语教学研究还有欠缺,深入了解此类地区的汉语教学现状有助于泰国整体汉语教学研究。笔者结合汉语志愿者教学经历,把巴真府西玛哈坡地区的三所学校定为调查对象,西玛哈坡是巴真府的中心区域,这三所学校是研究经济
比叶面积(SLA)定义为单位重量的叶面积,是反应植物资源利用和生存策略的关键叶性状指标,对植被更新、群落以及生态系统演替具有重要的指示意义。然而,SLA沿着环境梯度的变异特征和影响机制仍然不清晰。我们系统性调查了全国56个天然陆地生态系统(26个森林生态系统和30个草原生态系统)的4895种植物,横跨青藏高原亚寒带、青藏高原温带、寒温带、中温带、暖温带、北亚热带、中亚热带、南亚热带、边沿热带。植被
FMS(功能性动作筛查)是用来预测潜在运动损伤及评价动作质量的评估系统,通过七项测试动作,对每项动作进行0分到3分四个评价等级进行打分。跆拳道运动作为一项技能主导类格斗
随着下一代移动网络与移动互联网的快速发展,移动数据流量在近年来呈现爆发式增长,无线网络视频应用在全网的吞吐量呈指数级增长。在异构无线网络环境中,存在多方面影响数据传输的因素,如无线网络信道衰落、时延抖动等,而视频流媒体传输业务相对于传统业务有着较高的用户体验质量(Quality of Experience,QoE)要求,因此,如何根据网络状态对视频传输进行优化,提升视频播放的流畅度以及视频质量的高
随着北极航道的开发和极地资源的勘采,极地船舶与冰相互作用及结构抗冰碰性能问题愈来愈引起人们的关注。多孔金属夹芯结构以其优良的力学性能,广泛应用于结构轻量化与碰撞冲击防护领域。本文以极地船舶结构安全与轻量化为研究目标,结合实验与数值仿真方法,对冰碰载荷下船用泡沫铝夹层板的动态响应进行了研究,对比分析了冰体碰撞和刚体碰撞对泡沫铝夹层板动态响应的差异,阐明了冰体破碎对泡沫铝夹层板能量吸收的影响,揭示了碰
五台山石质文物众多,雕刻艺术高,但是石头上附生的地衣对文物造成了侵蚀,遮盖了精美的图案,影响了文物内容的完整性及可瞻性。然而对五台山地衣的研究缺乏,因此,急需对五台山地衣进行研究。南山寺石雕是五台山众多寺庙石刻艺术品中的精品,雕刻艺术水平非常高,因此,我们以南山寺为例,对石质文物上的石生地衣进行了研究。采用形态学研究方法对南山寺石生地衣种类、地理区系成分与优势科属;通过网格法对地衣的盖度做了调查,