注意力机制与深度学习相结合的图像语义分割

来源 :西安工业大学 | 被引量 : 0次 | 上传用户:LITAO14073164
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像语义分割指利用图像中高级语义信息对图像中的每一个像素点进行分类,高级语义信息是图像区域中所包含对象的类别信息。传统图像分割算法使用颜色、纹理等低级语义信息进行图像分割,简单场景下能够达到不错的效果,但在复杂场景中分割效果不理想。利用图像中高级语义信息在复杂场景下使分割结果更加准确。本文提出自注意力机制与深度学习相结合的图像语义分割算法,主要工作有以下两点:1)提出一种自注意力机制与卷积神经网络相结合的图像语义分割算法。针对卷积神经网络算法中存在三个不足做出改进,(1)针对不断叠加的卷积层与池化层导致特征分辨率尺寸降低和空间位置信息丢失,使用跳跃连接的思想将编码器中特征信息与解码端上采样的特征信息相融合,一定程度上弥补了卷积网络卷积过程中造成空间信息丢失的问题。(2)针对卷积神经网络中的卷积核只能获得局部上下文信息,无法获得全局的上下文信息。使用扩张卷积替代部分传统卷积,扩大感受野的同时不会增加卷积核参数;使用金字塔池化模块和扩张卷积金字塔模块获取更多全局上下文信息,同时应对图像中存在不同尺度物体的问题。(3)针对卷积神经网络无法直接捕获较长距离的像素点之间的依赖关系,使用自注意力机制捕捉长距离像素点之间的依赖关系。实验证明,本文提出的算法使得图像语义分割性能有了较大的提升,分割指标均交并比(Mean IOU)在PASCAL VOC 2012数据集和CITYSPACE数据集分别达到80.90%和79.3%。2)提出一种弱监督下的语义分割算法。强度监督下语义分割精准度已经得到长足发展,但是其需要像素级类标签,获得这样的密集型标签的工作量十分巨大,并且在训练过程中使用密集型标签需要强大的硬件设备支持。弱监督只利用图像级类标签便可以进行图像分割任务,但弱监督下语义分割准确度还欠佳。在CAM算法的启发下通过仿射变换构建一个共享权值的孪生网络架构,对同一图像不同仿射变换下生成的类激活图进行一致性正则化处理。同时使用自注意力机制模块,利用全局上下文信息对相似像素做判定以修正类激活图错误激活区域,进一步提高算法的准确度。在PASCAL VOC 2012数据集上的Mean IOU达到了60.46%,与强监督下经典的FCN算法的性能相近。
其他文献
学位
近年来,在我国国民经济腾飞的背景下,中国乡村旅游产业迅速崛起。为使我国乡村旅游事业更好地适应当前市场环境,相关部门需要不断探寻摸索其发展路径。文化产业作为国家软实力的重要组成部分,其兴衰直接影响着我国综合国力的提升。因此,让乡村旅游与文化产业实现有机融合,是目前旅游业发展的主要方向,希望该研究能为我国旅游业注入新的生机与活力。随着我国居民经济水平的提升和环保意识的提高,以及相关政策的大力扶持,
期刊
长江西起冰川覆盖的青藏高原,在富庶的长江三角洲注入东海,蜿蜒长河串起沿线各地迥异的风景和文化,堪称中国的心脏与灵魂。宋朝(960—1279)著名诗人范仲淹在其代表作《岳阳楼记》中有云:"锦鳞游泳……渔歌互答,此乐何极",生动描述了长江的壮美与生命力。
期刊
甘肃合作那扎岩体岩性为花岗斑岩。岩石地球化学分析表明,SiO2含量为69.50%~73.48%,TiO2含量为0.008%~0.084%,CaO含量0.22%~2.07%,Na2O含量2.96%~3.40%,K2O含量为4.38%~4.84%,Al2O3含量为14.74%~16.19%,铝饱和指数A/CNK值1.49~1.91>1.1,里特曼指数σ为1.88~2.27,属高钾钙碱性过铝质S型花岗岩
川北平坝地区种植菜用型马铃薯,可在5~6月提前上市,填补四川省及北方新鲜菜用马铃薯市场空缺,经济效益好,发展前景广阔。但目前生产中存在大薯率偏低、薯块青皮、品质不高、品相不佳等问题,同时苗期有冻害、干旱风险,4月雨季晚疫病防控难,都极大损害了农户的种植效益。针对上述问题笔者团队开展技术研究,结合近年对家庭农场的指导经验,集成创新出“补有机、增垄高、覆黑膜、留单株、提抗性”等适合本区域早熟菜用型马铃
元宇宙从科幻概念演变为现实,人们可以在虚拟世界里聚会、创造、买卖、社交、生活和学习,可以说元宇宙是下一代互联网,是数字资产的创造生产地。与此同时,元宇宙带来的数据安全、金融服务监管、知识产权保护等问题也随之而来。如何更好地引导和规范元宇宙发展?如何更好地释放生产力和创造力,充分激发检察机关在数字经济方面进行社会治理的巨大潜能?针对上述困惑,杨浦区人民检察院、上海检察机关网络犯罪专业化办案团队、上海
期刊