基于深度学习的图像协同分割算法研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:liongliong587
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和数字媒体的高速发展,图像和短视频以其视觉效果上的优势,逐渐成为信息的主要传播形式,引起网络上的图像数量呈现爆炸式的增长。在浩如烟海的图像中,用户需要快速地筛选出有用的信息,对图像内容分析的需求应运而生。图像分割作为计算机视觉和媒体数据处理领域重要的研究主题之一,能够为更高层次的图像内容理解与分析任务,提供研究基础。在过去的几年中,很多图像分割的应用需求从单幅图像转向图像间公共对象的分割方向发展,如图像检索、视频跟踪、3D重建的剪影分割等。而图像协同分割作为一种弱监督的图像语义分割方法,目的在于分割出图像间的公共对象,为挖掘图像间协同信息的需求提供解决方案。图像协同分割领域已经发展了十余年的时间,存在很多的传统方法和基于深度学习的方法,并取得了一定的进展。这些方法一般包含特征表示、协同关系建模和模型求解三个过程。传统方法一般采用低层手工特征,对区域或图像进行特征表示,并基于单幅图像内部信息和图像间的全局约束进行建模和求解,在面对前背景复杂、具有遮挡、模糊等场景的图像时,存在一定的不足。而深度学习的方法,利用其提取高层语义特征的优势,建立端到端的可训练模型,可以较好地改善这一问题。因此,本文提出了两种基于深度学习的图像协同分割方法,根据现有方法的不足进行改进,在建模图像间协同关系上进行探索,提高了分割效果。本文的主要工作如下:第一,针对图像协同分割的相关研究工作进行整理和分析,并从五个方面归纳了国内外研究现状。综合深度学习技术、注意力机制和互相关思想,开展本文的研究工作。第二,提出一种基于通道域和空间域注意力机制改进的图像协同分割方法。通过总结发现,现有的基于注意力机制的深度图像协同分割方法主要基于全局平均池化的操作来获得注意力权重,且仅对高层的语义特征使用注意力机制选择性地突出公共对象的语义特征。一方面,由于平均池化的操作会使权重偏小,对语义特征有一定的削弱,特别是在背景区域较大、对象偏小的情况下,会更明显。针对这一不足,本方法通过添加全局最大池化操作对注意力机制进行扩展,全局最大池化操作则不存在削弱特征的问题,但存在一定的不稳定性。因此,通过学习相关参数将两种操作的结果融合,综合二者的优点,一定程度上改善了平均池化对特征通道的削弱问题。另一方面,本方法还探索了改进后的注意力机制对不同层次语义特征的突出效果。在生成分割结果的解码过程中,融入注意力机制处理后的低层语义特征,进而提高分割效果。通过对比实验验证了本方法在图像对的协同分割任务中的有效性。消融实验表明这两个方面对提升整体效果是不可或缺的。第三,提出一种基于金字塔特征互相关的图像协同分割方法。基于注意力机制的方法,操作简单,计算复杂度低,但在挖掘特征间的联系上,还不够深入,存在瓶颈,效果有一定的限制。本方法使用VGG16网络结构提取特征,基于特征间的互相关操作,对图像的协同信息进行建模,提高分割效果。首先,基于高层特征图,建立金字塔特征。其次,在不同层次的特征中,使用基于depth-wise卷积的互相关操作,挖掘特征间的联系,在公共语义特征通道中,突出对象特征的相对位置信息。最后,结合低层语义特征,补充细节信息,生成最终的分割结果。本方法在核心的互相关操作中,几乎不引进训练参数,构建金字塔特征,一定程度上解决对象多尺度问题。在几个公开的协同分割数据集上,通过与同类方法进行对比,本方法取得了更好的分割效果。在消融实验中,比较不同超参数下的模型分割效果,进而确定每层金字塔特征的尺寸。
其他文献
2021年7月,中共中央办公厅、国务院印发了《关于进一步减轻义务教育阶段学生作业负担和校外培训负担的意见》,“双减”政策正式落地。“双减”政策自颁布以来得到社会各界的广泛关注,处于K12(kindergarten through twelfth grade)阶段的学校、教师和学生都面临着新一轮挑战,提升学校课后素质拓展服务水平是当前学校面临的重要问题。藏族久棋课程作为课后素质拓展课程的一部分,对于
学位
在资本市场发展的推动下,我国上市公司股权结构渐呈集中趋势。部分股东持有高比例股份,享有可对公司施加重大影响的表决权,被称为控股股东。这些因素促成了股权质押业务的发展。相比其他融资方式,股权质押审批较简单,只要在质押期间股价维持在一定水平之上,出质股东就可以在不丧失控制权的基础上获得资金,因此被较为广泛地采用。然而,一旦股价大幅下跌至一定程度而出质人无法偿还借款,质权人为弥补损失,便可抛售股票,将引
学位
<正>有关数据调查显示,在初中数学学习中,学生两极分化的现象非常严重,直接影响到了学生的整体发展,“培优辅差”计划的落实已然迫在眉睫。培优辅差就是教师通过有效的教学方式,对班级中处于两个极端的学生着重进行引导,让数学成绩突出的学生能够“百尺竿头更进一步”,形成较强的竞争力,让数学成绩不理想的学生能够“快马加鞭”,赶上班级学生的整体水平。为了推进培优辅差计划的有效落实,文章特意分析了两极分化现象产生
期刊
油茶(Camellia oleifera Abel.)山茶科(Theaceas)山茶属(Camellia)植物,经济价值高、用途广、综合开发利用潜力大,主要产品——茶油,号称“东方的橄榄油”,是联合国粮农组织推荐的优质健康食用植物油。本课题以8年生油茶品种‘铁城一号’为试验材料,以不修剪的树体为对照,通过调查穗条生长状况,测定叶片生理指标、营养元素和光合特性指标,研究平头形、圆头形、圆锥形三种不同
学位
黑山县是辽宁省养猪大县之一,为了促进该县生猪养殖产业得到更好的发展,本文调研了黑山县生猪养殖的现状。结果发现该县生猪养殖业面临的主要问题有:生猪外运不畅,养殖模式落后,疫情风险加大,养殖成本增加,缺乏有效的信息引导,能繁母猪存栏不稳定。提出了应对策略:严格检疫消毒,强化调运监管,加大信息息引导,促进银企合作,做好技术培训,完善技术服务,发展特色养殖。
期刊
随着人类的活动和世界的发展,森林资源大幅减少,森林覆盖急速发生变化,人们需要迅速准确地获得林地覆盖变化的信息。Sentinel遥感卫星包含雷达数据和光学遥感数据,因其重访周期短和波段信息丰富的特点,在林地覆盖变化监测中具有较高的研究价值。沅江市作为“洞庭明珠”,对整个洞庭湖的生态环境十分重要。但是,由于近年来自然环境的影响,加上人为干扰和政策因素,沅江市各自然地物有较大变化,因此探究沅江市各地物和
学位
该实验以柠檬籽油为芯材,酵母细胞和辛烯基琥珀酸酐酯化淀粉为壁材,采用双层包埋法制备柠檬籽油复合微胶囊。通过双包埋微胶囊结构的观察和分析以及牛肉干的贮藏实验,研究双包埋微胶囊的包埋效果和对牛肉干保鲜作用的影响。结果表明,双包埋微胶囊的载油量最大为193.003 mg/g;其表面粗糙,结构完整;红外光谱分析结果表明,双包埋微胶囊在包埋过程中形成新的氢键,说明双包埋是成功的;差示扫描量热法测得双包埋后的
期刊
汉语的副词是一种广泛使用而极具特殊性的词类,成员相对固定但个体性极强,程度副词是副词中的一个重要成员。近年来,关于方言程度副词的研究不少。巢湖位于安徽江淮一带,因地处“吴头楚尾”,巢湖方言兼具江淮官话和吴语的特点。本文以巢湖话的程度副词为研究对象,从巢湖话的语言事实出发,概括了相对完整的巢湖方言程度副词系统面貌,运用“表-里-值”“小三角”的研究方法重点考察了巢湖话几个具有特色的程度副词。另外,对
学位
本文主要探讨梁代的七言古诗及其相关问题。主要试图解决两个问题:一、梁代七言古诗的正体与变体;二、梁代七言古诗的审美风尚。第一个问题主要是历时性分析,其立足点在于梁代七言古诗在七言诗发展史中的过渡性,通过分析其对前代的继承和发展可以让我们更深入了解梁代七言古诗在诗歌史上的地位。第二个问题则是共时性分析,通过对断代的研究,以探索时代之下七言古诗所具备的独到审美风尚及产生原因。此外,第二个问题也是对第一
学位
“互联网+教育”的大趋势下,信息技术推动教育领域发生了重大变革,网络已成为人们获取知识的重要途径,然而线上学习的诸多问题也随之暴露,比如部分用户协作学习积极性不高。本论文交叉融合复杂网络理论和演化博弈方法等多学科知识,研究在线学习环境下群体协作学习行为的演化机理,探究促进群体协作学习行为的干预机制设计。本文确立了能表征学习者之间交互关系的理论网络模型,在此基础上从两个角度切入围绕群体协作学习行为演
学位